第二天，薛令之看到玄宗皇帝的和诗，仿佛是受到了当头棒喝。他思索了几天，联想到李林甫的种种作为和自己所收到的打压，便对官场心灰意冷，萌生了辞职回家的念头。他给玄宗皇帝上了道奏折，说自己最近经常生病，无法正常工作，希望皇帝允许辞官返乡。唐玄宗看了薛令之的奏折，也没有多想，便批准了他。薛令之两袖清风，在朝为官30多年，没有存留有任何金银珠宝，辞官之后“徒步”回乡。薛令之回乡后隐居于灵谷草堂，过着钻研经书、抱瓮灌园的生活。
身在京城的玄宗皇帝偶尔还会想起他的这个大臣，问一问他的情况。当他得知薛令之生活清贫的时候，“心甚怜之”，曾下诏用长溪(薛令之是长溪人)的岁赋资助他。从薛令之不得已辞官回乡一事可以明白劣币驱逐良币这一亘古不变的道理。在整个玄宗朝，被李林甫驱逐的可不止薛令之一人。一个容不下人才的朝廷，到头来结果可想而知。