唐代前期为了监察地方官，经常派遣官员担任黜陟使，不定期巡察各地，惩处违法官员。阎立本把这个事审查了一番，得出了结论—狄仁杰不但不是个坏官，而且是个大大的好官。于是他找来狄仁杰，对他说：“仲尼云："观过知仁矣。"足下可谓海曲之明珠，东南之遗宝。”所谓“观过知仁”是孔子的话，原话是“观过，斯知仁矣”，大致意思是人的品性不同，看这个人犯的过错，可以看出这个人是个什么样的人—从你狄仁杰的所谓过错来看，你是个好官，是被埋没的珍宝啊!
于是狄仁杰非但没有受到处分，反倒升官了，阎立本保荐他担任了并州都督府法曹参军，这是个正七品上的官职，狄仁杰因祸得福了。担任法曹这样的官职对狄仁杰来说是个极好的锻炼，日后他断案的能力极有可能就是在并州培养起来的，在这里他工作了10年以上，为他日后的行政生涯积累了宝贵的经验。在并州狄仁杰干得很出色，但是由于史料的缺乏，我们无法再详细进行描述。上元二年(675年)他被调到了长安担任大理寺丞。由法曹到大理寺丞，都是司法官员，他获得此职，一定是因为在法曹任上的杰出表现。可见历史上狄仁杰善于断案的美誉不是浪得虚名。当了大理寺丞后不久，狄仁杰就创造了一年断案17800起的纪录。这意味着一年不休息的话，平均每天要断案49起。审理卷宗不是看小说，我敢担保多数人看小说的速度都没这么快。后来狄仁杰那个神探的美名，就与他在地方和大理寺善于断案有关系。不过可惜的是，这些案子在史籍中基本都没有留下细节。
后来因为出色的工作能力，狄仁杰得到了高宗的赏识，从大理寺丞升任侍御史，后来又担任过宁州刺史、冬官(工部)侍郎、洛州司马等。在武则天天授二年(691年)9月，62岁的狄仁杰第一次被任命为宰相。但没过几个月，狄仁杰就因酷吏来俊臣的诬告“谋反”被捕入狱，还差点死掉，虽然后来真相大白，武则天却不肯完全为他平反昭雪，贬他到彭泽去担任一个小小的县令。唐代的官员多数70岁就退休了，此时的狄仁杰已经64岁，要是一般人，也许早就心灰意冷，破罐子破摔了：反正我窝在那儿，我干得好干得坏，有谁知道呢?可是狄仁杰不是这样，他一生最有职业精神。哪怕做一个小小的县令，也做得有滋有味，从来不怨天尤人。
史书上没有记载狄仁杰在彭泽县的所作所为，只有《新唐书》里留下了短短的六个字：“邑人为置生祠。”为活人建立的祠堂就是生祠。古人在表达对某个官员的深厚感情的时候，会凑在一起建个德政碑，在该人去任的时候进行欢送或者挽留，而建立生祠则是老百姓表达自己感情最强烈的手段了。狄仁杰在彭泽县的时间一共是两年多，并不长，但是以狄仁杰一贯的仁政思想和敬业精神来说，他一定在任期内兢兢业业，为彭泽县老百姓办了许多的好事，老百姓对他感恩戴德，所以才有了这座生祠。后来宋代大文豪范仲淹路过彭泽，参拜了狄仁杰祠堂，他们两人有许多相近之处，都是孝子忠臣，又都为民直言得罪权贵而遭贬，所以范仲淹感慨良多，挥笔写下了经典名篇《唐狄梁公碑》。无独有偶，宋代诗人、书法家黄庭坚也是狄仁杰的“粉丝”。他曾经写诗《题马当山鲁望亭四首》盛赞狄仁杰：“鲸波横流砥柱，虎口活国宗臣。小屈弦歌百里，不诬天下归仁。”绍圣元年(1094年)黄庭坚挥笔书写了《唐狄梁公碑》碑文，有拓本传世至今。此碑人称“狄公事、范公文、黄公书”，谓之“三绝”。
当然了，树碑立传的也不见得都是好官。明朝大太监魏忠贤也有人给他建生祠，但那是官员们溜须拍马的结果，与狄仁杰这座老百姓建立起来的生祠相比，判若云泥。