狄仁杰出生于官宦之家，祖父狄孝绪任唐太宗贞观朝尚书左丞，父亲狄知逊官至夔州长史。他从小便受到严格的训练，少年时参加明经科考试及第，顺利进入仕途。
狄仁杰刚出道便表现不凡，担任汴州参军时，被人诬陷，这时的工部尚书阎立本(著名的画家宰相)作为中央考察大员巡视河南，受理此案。他不但发现狄仁杰清白无辜，还发现了狄仁杰德才兼备，大赞他实在是“沧海遗珠”，马上举荐他为并州法曹参军，狄仁杰从此进入了法律界。狄仁杰被人诬告后反而得到意外的提拔，说明狄仁杰实在才德过人，即便在走霉运时都掩盖不了他的闪闪金光。在任期内，狄仁杰逐渐通晓了兵法、刑罚、吏治等各方面典章制度，为他一生的政治活动打下了良好的根基。
狄仁杰才能贤德的名声逐渐传到唐高宗那里，仪凤元年(公元676年)，被擢升为大理丞(最高法院的推事)，掌管国家刑法大权。他到任仅一年，就判决了以前积压的几千件案子，牵涉到一万七千人。他公正廉明，明察善断，英明果决，一下子名声大震，朝野上下无不推崇这位断案如神的大法官。大家熟悉的《狄公案》里那个包黑子一样的青天大老爷狄仁杰，就是从他的这段经历中演化出的。
狄仁杰绝不徇私枉法，为了维护法律，甚至敢于犯上直谏。一次，左威卫大将军权善才、右监门中郎将范怀义两位将军误砍了昭陵(唐太宗墓地)的柏树，高宗大发脾气，下令立即把他俩处斩。
狄仁杰上奏说：“国家已经制定了明确的法律，根据法律，两位将军不该判死刑。”高宗怒道：“他们害我做了不孝子，非得要处死!”狄仁杰坚持说：“按法不该判死刑而一定要判死刑，就因为误砍了一棵柏树，处死了两位将军，后世会议论陛下究竟是个什么样的君主?我不敢陷陛下于无道!”唐高宗顿时悔悟，免了二人死罪，从此狄仁杰名震京城。