柳载(后改名柳浑)生于汝州梁县(今河南汝州)梁城乡思义里 。他幼时便成为孤儿，有巫人给他看相说，“此儿相贱，且短命，若为僧、道，可缓死。”家人欲从其言。柳载说：“不读诗书，去当术士，不如速死。”于是发奋求学。
唐玄宗天宝元年(742年)，柳载登进士第，任单父(今山东省单县)县尉 。唐肃宗至德(756年—758年)年间，被江西采访使皇甫侁任命为判官，后迁衢州(今浙江省衢县)司马。
柳载曾一度弃官隐居武宁山。不久，被召回朝廷，拜监察御史。柳载生性放旷，不愿在朝廷做事，想求外职，“宰相惜其才，留为左补阙”。其后任殿中侍御史、知江西租庸院事。
唐代宗大历二年(767年)，魏少游镇江西，柳载任判官，累授检校司封郎中。开元寺僧与酒徒夜饮，失火，却归罪于守门人。人均知此系一冤案，不敢言。惟柳载与同僚崔祐甫为守门人鸣冤。自此，他以公正闻名当时。大历六年(771年)，路嗣恭接替魏少游，又任命柳载为都团练副使。大历十二年(777年)，柳载出任袁州(治所在今江西省宜春)刺史。
大历十四年(779年)，崔祐甫入朝为相后，推荐柳载为谏议大夫、浙江东西黜陟使。回朝后，加朝散大夫。又转任左庶子、集贤殿学士、尚书右丞，后加银青光禄大夫，迁官右散骑常侍。
“奉天之难”时，唐德宗李适出逃奉天(今陕西乾县)，柳载则隐匿于终南山。叛将朱泚以同平章事(宰相)官职相诱，柳载未就。随后，柳载历经艰辛，十日之后才抵达奉天行在。后又随德宗逃往梁州(今陕西汉中)。李晟收复长安后，柳载随德宗回朝，他对德宗说：“顷为狂贼点秽，臣实耻称旧名，矧字或带戈，时当偃武”，于是请求改名为柳浑。
贞元元年(785年)，柳浑被拜为兵部侍郎，获封宜城县伯。
贞元三年(787年)，柳浑以本职(兵部侍郎)拜同中书门下平章事，仍判门下省，出任宰相。一次，德宗命玉工制作玉带，误伤一锷(犹今之带扣版)。工人害怕，至市上买他玉补上。德宗一看，不是同类，认为有欺君之罪，欲将玉工处死。柳浑说：“以法律，误伤乘舆器服，罪当杖。”由于柳浑执法公正，玉工杖打六十，得免一死，其余工人也被释放。
韩滉自镇海军入朝，德宗委以重任。朝臣虽有议论，均未直言。韩滉事无巨细，一概过问。有时竟超越自己职权以外。柳浑虽为韩滉所推荐，但也厌恶其专政，对韩滉说：“先相国(指韩滉之父韩休)因处事偏激，不一年而去任，今公奈何又蹈前非!”韩滉悔恨，其威稍减。
后来，德宗听信大将马燧等人的建议，与吐蕃订盟约于平凉(今甘肃省辖县)。有人认为，此约可保百年无事。而柳浑却跪谏说：“吐蕃人面兽心，不可信。”德宗变色说：“浑，儒生，不晓边境之事。”果不出浑所料，夜半，邠宁(今陕西省彬县)节度使韩游瑰飞奏朝廷，告知吐蕃背盟，“将校皆覆没”。次日，德宗慰勉柳浑说：“你是一儒士，竟知万里以外的敌情，可嘉。”自此对柳浑骤加礼遇，在随后与宰相李泌的谈话中，甚至想将“刑法委浑”。
当初，柳浑与张延赏一同出任宰相，柳浑在议事时，屡次与张延赏产生分歧。张延赏让亲信对柳浑说：“相公是有德望的老臣，只要在朝堂上少说话，宰相之位便可保长久。”柳浑说：“你替我向张公道歉，我柳浑的头可以被砍下，舌头说话却是不能禁止的!”自此以后，两人便互生嫌隙。德宗喜欢斯文儒雅、不露锋芒的人，但柳浑朴实而正直，轻率而简易，举止随意，在德宗面前还常说俗语。德宗积累不满，打算将柳浑贬为王府长史，经李泌劝谏，德宗才将他罢为右散骑常侍(一作左散骑常侍)。
柳浑与人交，以真诚相见。勤俭，不谋私利，不置产业。贞元五年(789年)二月五日(3月6日)，柳浑病逝于长安昌化里的家中，享年七十五岁。谥号“贞”。
大中二年(848年)七月十一日，柳浑与李岘等共三十七人得以绘像凌烟阁。