根据史书记载，狄仁杰一共有三个儿子，长子名叫狄光嗣，在武周时期曾担任司府丞。武则天让当朝宰相们各自举荐一人来担任尚书郎，没想到狄仁杰举荐的竟然是自己的长子狄光嗣。武则天封狄光嗣为地官员外郎，后来发现他做的非常好，她非常高兴，对狄仁杰说：“祁奚内举，果得其人”。
狄仁杰举贤不避亲，武则天也非常满意，可见狄光嗣确实有才，也可以说他是狄仁杰最满意的儿子。后来狄光嗣在开元元年，曾做到汴州刺史、扬州大都督府长史的高位，不过最终因罪被贬歙州别驾，死在任上。纵观狄光嗣的一生，应该说他没做过什么有损家门的坏事，那么问题处在谁身上了呢?
再说狄仁杰第二个儿子，此人名叫狄光远，史书对于此人的介绍更少，不过他却救过父亲的命。话说狄仁杰当年被酷吏折磨下狱。狄仁杰把自己的冤情写了下来，藏在衣服里面。正是狄光远带着这份书信入宫含冤的，最后在武则天的过问下，狄仁杰才被释放。后来狄光远担任过州司马的职务。
既然前两个儿子都没什么劣迹，那么问题自然就出在狄仁杰的第三子身上了。狄仁杰的第三子名叫狄光昭，后因避讳，改名狄景晖。也许因为狄景晖是幼子的缘故，对他的管教比较松懈，最终导致他比较贪暴，完全没有狄仁杰的风范。那么这个狄景晖到底做了啥事呢，把狄仁杰的名誉都给毁掉了?
话说狄仁杰曾担任过大理寺丞，“周岁断滞狱一万七千人，无冤诉者”，百姓无不称赞。后来狄仁杰在河北魏州担任刺史，安抚百姓，革除前任刺史的弊政，深得民心，“百姓咸歌诵之”。后来狄仁杰离任后，百姓们自发出资，为狄仁杰建立生祠，歌颂其在魏州的功德，香火十分旺盛。
十几年后，魏州迎来了狄仁杰的三公子狄景晖，他担任的是魏州司功参军。司功参军这个官不大，品级也不高，只是个正七品上的官，但在地方上的职权却不小，“掌考课、假使、祭祀、礼乐、学校、表疏、书启、禄食、祥异、医药、卜筮、陈设、丧葬”。狄仁杰十分清廉，但这个狄景晖却十分贪婪残暴，“颇贪暴，为人所恶”。
在魏州期间，狄景晖利用自己手中的职权大肆敛财，欺压良善，引起了魏州百姓的严重不满。但狄景晖毕竟是官，百姓们惹不起，于是就把怨气发到狄仁杰身上了。史书记载，魏州人因狄景晖的缘故，“乃毁仁杰之祠”。 狄仁杰是位誉满天下的人物，却因儿子狄景晖贪暴，几乎毁掉一世英名!