武帝晚年发生“巫蛊之祸”，冤死者甚多
丙吉少时研习律令，起初担任鲁国狱史，因为断案水平高被提拔到朝廷，渐渐升迁至廷尉右监。丙吉任职数年后，不知为何受到相关案件的牵连被免，回到州里面担任佐吏。等到征和二年(前91年)“巫蛊之祸”爆发后，朝廷由于缺乏断案的能手，便又将丙吉召回来，命他在郡邸狱专门审理相关案件。
虽然有皇命在身，但丙吉很清楚涉案罪犯多是被冤枉的，所以出于良知，便尽量为他们申诉冤情、减轻处罚，即使不得不判处死刑时，也是能拖便拖，尽量让犯人多活些时日。所以，丙吉断案时拖拖拉拉，耗时数年时间依然未能结案，让汉武帝相当不高兴。
丙吉拼死救护刘病已，使他免于一死
丙吉在巡查监狱时得知，戾太子刘据的孙子刘病己也关在这里，虽然只有几个月大，但也被定成死罪。丙吉悲悯太子的遭遇，认为就算是他真的有过错，但也不能罪及尚在襁褓之中的孙儿。所以，丙吉出于同情心，便挑选谨慎厚道的女囚徒，让她们细心哺育、养护刘病已，并将他安置在宽敞干燥的牢房内，以防止得病。
时，宣帝生数月，以皇曾孙坐卫太子事系，吉见而怜之。又心知太子无事实，重哀曾孙无辜，吉择谨厚女徒，令保养曾孙，置闲燥处。见《汉书·卷七十四》。
后元二年(前87年)春，行将就木的汉武帝派使者奔赴各个监狱，下令将里面的囚徒不分轻重一律都杀掉。然而，当内谒者令郭穰拿着圣旨来到郡邸狱，要求处死所有的罪犯时，却遭到丙吉的强烈抵制。郭穰没有办法，便将情况汇报给皇帝，此时武帝的头脑有些清醒，便叹息着说道：“皇曾孙命不该绝，看来这是上天让丙吉这么做的。”
霍光接受丙吉等人的建议，立刘病已为帝
事后，武帝下令大赦，大批囚徒因此重获自由。刘病已出狱后无处可去，丙吉便出钱给他雇保姆，精心照料他的饮食起居。在此期间，刘病已身患大病，数度有生命之忧，幸亏有丙吉的帮助，才得以死里逃生(“曾孙病，几不全者数焉，吉数敕保养乳母加致医药，视遇甚有恩惠。”引文同上)。
不久，汉武帝驾崩，临终前颁布遗诏，正式承认刘病已是皇曾孙，并交由掖庭抚养。此时，刘病已已被送到外婆家抚养，两年后(前85年)正式进入掖庭，被交由掖庭令张贺抚养。与此同时，丙吉因为平反冤狱有功，受到大将军霍光的器重，被提拔为大将军长史，数年后又晋升为光禄大夫、给事中。
11年后，年仅21岁的汉昭帝离奇驾崩，由于没有子嗣，所以霍光便扶立皇侄、昌邑王刘贺为帝。然而刘贺在位27天便犯下累累罪行，迫使霍光又将他废黜。此时，深受霍光器重的丙吉、杜延年提出建议，希望立昭帝的侄孙刘病已为帝，并得到霍光的首肯。于是在元平元年(前74年)，境遇落魄的刘病已一步登天，当上汉朝皇帝，是为汉宣帝。
刘病已登基为帝，是为汉宣帝
按照常人的理解，丙吉对汉宣帝不仅有救命之恩，而且还是把他扶上帝位的元勋功臣，这么大的功劳，无论如何都应该被封为侯爵。然而，丙吉却绝口不谈以前对皇帝的恩德，而皇帝也对幼年时期的记忆很模糊，所以数年间没有报答丙吉。直到7年后，皇帝才得知丙吉保护、恩养自己的事实，于万分懊悔之际向他道歉，并隆重地册封其为博阳侯。
等到神爵三年(前59年)丞相魏相薨逝后，宣帝为感谢丙吉，便把时任御史大夫的他提拔为丞相，使得后者由此位极人臣。丙吉担任丞相期间崇尚宽厚、喜欢礼让，属官中有犯错或不称职的，便给他们休长假，使其自己离职，一时间被朝廷上下称为君子(“及居相位，上宽大，好礼让。掾史有罪臧，不称职，辄予长休告，终无所案验。”引文同上)。
丙吉官至丞相，在位时以宽厚、礼让著称
五凤三年(前55年)正月，丙吉因病薨逝，临终前向皇帝推荐黄霸、杜延年、于定国、陈万年等人，最终都成为治世能臣。不仅如此，汉宣帝也成为史上有名的贤君，不仅成功地中兴汉朝，而且为其续命82年(公元8年，王莽代汉建新)，功绩如何强调都不为过。丙吉当年的一念之善，竟然给汉朝带来如此重大的影响，堪称极度传奇。