龚自珍在京做官时，是明善堂主人的上客。主人的侧福晋顾太清慕其才，二人有暧昧事。有人说，龚自珍诗集中游仙诗及词中《桂殿秋》、《忆瑶姬》、《梦玉人引》诸阙，倘恍迷离，都是为这件事而引发的。后来被明善堂主人察觉，只好引疾归乡。结果还是被明善堂主人鸩杀了。
还有一说。龚自珍晚年眷恋一个私娼，叫灵萧，而灵萧却另有所爱。有一天，他去灵萧家，遇见了那个人，龚自珍让灵萧与他断绝往来。灵萧明应，而暗中往来愈密切。半年之后，龚自珍在灵萧家又遇到那人。龚自珍回家拿了鸩毒交给灵萧，命她毒死那人。这种毒药本出自宫内，服下后并非立即死，死后也没有伤痕可验。那灵萧收下药，随即放入酒中，端给自珍。龚自珍饮下，回到家就感不适，数日后死了。
虽然日子过得苦哈哈，龚自珍诗歌中却不乏艳情之作，这与他的生活态度是分不开的。他对女性的欣赏，让他一生中有过许多短暂的情缘。其中最为著名的，莫过于他与清代女词人顾太清的情感纠葛。这一段情事，是清代最广为人知、最为人津津乐道的一段秘闻，称为“丁香花公案”。
这段公案，起源于龚自珍《己亥杂诗》中的一首。诗歌写道：“空山徒倚倦游身，梦见城西阆苑春。一骑传笺朱邸晚，临风递与缟衣人。”篇末并自注云：忆宣武门内太平湖之丁香花一首。这里的“宣武门内太平湖”，指的是乾隆曾孙、宗室才子、贝勒奕绘的府邸;而“丁香花”、“缟衣人”，则被附会为奕绘的侧福晋顾太清。
奕绘和顾太清都能诗善文，与京中文人墨客过从甚密。龚自珍本是他们夫妇的座上宾。人们认为这首诗表明顾太清与龚自珍之间存有暧昧之事。清末学者冒广生《读太素道人〈明善堂集〉感顾太清遗事辄书六绝句》首次将此事书之成文：“太平湖畔太平街，南谷春深葬夜来。人是倾城姓倾国，丁香花发一徘徊。”这起“丁香花公案”遂广为流传，赞同者有之，反对者有之，辟谣者有之。清末的曾朴曾将此事虚构一番，写入了小说《孽海花》的第三、四回，两人的所谓“情事”更是得以盛传。
龚自珍与顾太清一为当世才子，一为闻名才女，二人的情缘是真是幻，直到今日仍然争执不休。只是，这件事对两位当事人的一生影响深远。顾太清被逐出王府，从此流落市井。1839年(道光十九年)，龚自珍也辞官回乡。他匆忙离开京师之后，对进京心有余悸，曾遣仆人入京迎接家眷，自己并不亲往。两年后的八月廿十，龚自珍暴病而卒。