宋仁宗宅心仁厚、性情温和，比较能克制激情与欲望，注意克己复礼。但他并不是一个禁欲主义者，可以说相当好色。
景祐元年(1034年)，谏官滕宗谅上疏，对仁宗直言不讳地说：“陛下日居深宫，大开宴席，上朝时明显精力不足，决策也不如以前高明了。”
监察御史里行孙沔也上疏说：“一年之中，陛下花在国家大事上的时间有多少?那么多事不管，退朝后就往深宫躲，不用想都知道去干啥了。”
南京留守推官石介给枢密使王曾写了一封信，其中说：“听说皇上废了郭皇后，宠幸尚美人，这事全国人都知道了。有人说皇上好色，整日只知吃喝玩乐，都没个皇帝样了。最近又听说皇上的身体大不如前，都是这事闹的吧。”石介写这封信是希望王曾劝谏仁宗，他还说，如果仁宗听了就算了，否则可以提出辞职，相信仁宗还不至于那么糊涂。
滕宗谅、孙沔的奏疏与石介的书信均写于景祐元年，谈的都是仁宗好色的问题。可见当时许多人都听到了仁宗“好近女室，渐有失德”的传闻。
原来，景祐元年，垂帘听政的刘太后去世未久，仁宗开始亲政。刘太后在时，对仁宗管束极严，不许他亲近美色。仁宗成年选后时看中了王氏，但刘太后认为王氏太过妖艳，对他不利，硬将王氏嫁给她的侄儿，而将仁宗并不喜欢的郭氏立为皇后。
刘太后去世后，仁宗坚决废了郭皇后，大概打心底里想要摆脱刘太后留给他的阴影。没了刘太后的管束，仁宗开始纵情女色，时人说：“及庄献(即刘太后)崩，上稍自纵。”
当时仁宗最宠爱尚美人与杨美人。尚美人自恃受宠，在仁宗面前编排郭皇后的不是，郭皇后得知，要打尚美人，仁宗赶紧劝架，结果郭皇后要打尚美人的一巴掌打到了他的脖子上。仁宗大怒，这才生了要废郭皇后之心。
郭皇后被废，尚美人与杨美人更是得宠，仁宗日日流连后宫，形容疲惫，食欲不佳，有时一天都不怎么吃饭。这便是滕宗谅与孙沔相继上疏、石介给王曾写信的背景。
仁宗将出言不逊的滕宗谅外放信州当知州，将孙沔贬到永州监酒税。不过，由于大臣与内侍阎文应都对仁宗宠幸尚杨二人一事喋喋不休，仁宗最后不得不将尚氏送出宫去，将杨氏别宅安置。
到了庆历年间，将门之后王德用又给仁宗送了个美女，仁宗也很喜欢。谏官王素听说后，直接找仁宗理论，要求他将美女遣送出宫。仁宗笑着跟王素商量了半天，王素也没松口，最后只得依依不舍地将人送走。
嘉祐六年(1061年)，苏辙在“制举”考试的御试试卷上直接批评仁宗好色，不过仁宗并未怪罪他，反而对他的直言、敢言十分赞赏。
仁宗确实有点好色，有时还有纵欲之嫌，但大臣敢毫不客气地提出批评，他对批评者顶多只是贬官而已，不会因此问罪。甚至迫于压力，他还不得不将心爱的女子送出宫去，这就是那个时代的难能可贵之处。