出生于一个官宦之家。祖父狄孝绪，任贞观朝尚书左丞，父亲狄知逊，任夔州长史。狄仁杰通过明经科考试及第，出任汴州判佐。时工部尚书阎立本为河南道黜陟使，狄仁杰被吏诬告，阎立本受理讯问，他不仅弄清了事情的真相，而且发现狄仁杰是一个德才兼备的难得人物，谓之“河曲之明珠，东南之遗宝”，推荐狄仁杰作了并州都督府法曹。
仪凤年间(676——679年)，狄仁杰升任大理丞，他刚正廉明，执法不阿，兢兢业业，一年中判决了大量的积压案件，涉及到1.7万人，无冤诉者，一时名声大振，成为朝野推崇备至的断案如神、摘奸除恶的大法官。为了维护封建法律制度，狄仁杰甚至敢于犯颜直谏。仪凤元年(676年)，武卫大将军权善才坐误斫昭陵柏树，仁杰奏罪当免职。高宗令即诛之，仁杰又奏罪不当死。帝作色曰：“善才斫陵上树，是使我不孝，必须杀之。”左右瞩仁杰令出，仁杰曰：“臣闻逆龙鳞，忤人主，自古以为难，臣愚以为不然。居桀、纣时则难，尧、舜时则易。臣今幸逢尧、舜，不惧比千之诛。昔汉文时有盗高庙玉环，张释之廷诤，罪止弃市。魏文将徙其人，辛毗引裾而谏，亦见纳用。且明主可以理夺，忠臣不可以威惧。今陛下不纳臣言，瞑目之后，羞见释之、辛毗于地下。陛下作法，悬之象魏，徒流死罪，俱有等差。岂有犯非极刑，即令赐死?法既无常，则万姓何所措其手足?陛下必欲变法，请从今日为始。古人云：‘假使盗长陵一土，陛下何以加之?’今陛下以昭陵一株柏杀一将军，千载之后，谓陛下为何主?此臣所以不敢奉制杀善才，陷陛下于不道。”帝意稍解，善才因而免死。
不久，狄仁杰被唐高宗任命为侍御史，负责审讯案件，纠劾百官。任职期间，狄仁杰恪守职责，对一些巧媚逢迎，恃宠怙权的权要进行了弹劾。调露元年(679年)，司农卿韦弘机作宿羽、高山、上阳等宫，宽敞壮丽。狄仁杰上奏章弹劾韦弘机引导皇帝追求奢泰，韦弘机因此被免职。左司郎中王本立恃恩用事，朝廷畏之。狄仁杰毫不留情的揭露其为非作歹的罪行，请求交付法司审理。唐高宗想宽容包庇王本立，狄仁杰以身护法：“国家虽乏英才，岂少本立辈!陛下何惜罪人以亏王法。必欲曲赦本立，请弃臣于无人之境，为忠贞将来之戒!”王本立最终被定罪，朝廷肃然。后来，狄仁杰官迁度支郎中，唐高宗准备巡幸汾阳宫，以狄仁杰为知顿使，先行布置中途食宿之所。并州长史李冲玄以道出妒女祠，征发数万人别开御道。狄仁杰说：“天子之行，千乘万骑，风伯清尘，雨师洒道，何妒女之害耶?”，俱令作罢，免除了并州数万人的劳役。唐高宗闻之赞叹说“真大丈夫矣!”。
垂拱二年(686年)，狄仁杰出任宁州(今甘肃宁县、正宁一带)刺史。其时宁州为各民族杂居之地，狄仁杰注意妥善处理少数民族与汉族的关系，“抚和戎夏，内外相安，人得安心”，郡人为他勒碑颂德。是年御史郭翰巡察陇右，宁州歌狄刺史者盈路，郭翰返朝后上表举荐，狄仁杰升为冬官(工部)侍郎，充江南巡抚使。狄仁杰针对当时吴、楚多淫词的弊俗，奏请焚毁祠庙1700余所，唯留夏禹、吴太伯、季札、四祠，减轻了江南人民的负担。