裴潜年轻时因避乱来到荆州，刘表待如上宾。裴潜私下里对好友王粲、司马芝说：“刘牧非霸王之才，又要以周文王自居，不等多久，就会被打败。”于是南行到了长沙。曹操平定荆州后，任命他为参丞相军事，后出京历任三县县令，又回京任仓曹属。曹操曾问他说：“从前你和刘备都在荆州，你认为刘备的才略如何?”裴潜说：“如果让他盘踞中原，只能生乱而不能治乱;如果让他乘机守住险要之地，足以成为一方之主。”
当时代郡大乱，曹操便任命裴潜为代郡太守。乌桓王及首领总共三个人，都自称单于，专权控制代郡的政务，前任太守不能行使其职权。曹操便想授权让裴潜带领精兵前去镇压讨伐，裴潜推辞说：“代郡人口众多，稍有行动便能聚集上万兵马。单于自知放肆横行日久，心里也不踏实。如今多带兵马前去，他们一定会因害怕而拒绝我军入境，兵马带少了他们又不放在眼里。依我看应该用计谋解决问题，而不能用军队来威迫。”于是只身乘车前往代郡。单于惊喜参半，裴潜平静和缓地安抚他，单于和他的部下都摘下帽子，屈膝下拜，以额触地，全部归还了前后几次掠夺的妇女、器械和财物。裴潜按律诛杀了代郡与单于内外勾结的高官郝温、郭端等十余人，北方边境地区大为震惊，老百姓心归魏室。裴潜在代郡作了三年太守后，回朝廷任丞相理曹掾。曹操称赞褒奖了裴潜治理代郡的功劳，裴潜说：“我对百姓虽然宽宏,，但对胡人却很严厉。如今谋臣们一定认为我于理过严，于事过宽。其实胡人一向骄横恣肆，管治过宽必然导致松弛散漫，因此只能将他们绳之以法，这就是诉讼纷争所以产生的原因。从现在的形势上判断，代郡一定还会发生叛乱。”听完这番话，曹操十分后悔这么快就让裴潜回来，几十天以后，果然又传来三个单于造反的消息。曹操只得派鄢陵侯曹彰为骁骑将军，前去征伐他们。
以后裴潜出京担任沛国相，调任兖州刺史。曹操途经摩陂，对兖州整齐的军阵赞叹不绝，特地加以赏赐。曹丕称帝后，裴潜入朝任散骑常侍，又出京任魏郡、颍川典农中郎将，掌管屯田地区的农业生产、民政和田租。他不断向朝廷举荐人才，从此农官仕途逐渐通达。后调任荆州刺史，赐爵关内侯。曹叡即位后，裴潜入朝担任尚书。后出任河南尹，转任太尉军师、大司农，封清阳亭侯，食邑二百户。后又入朝任尚书令，进言庄正，量才任官，甄别人品能名实并重，制定判断官府事件的条文一百五十多条。后因父亲去世辞官守孝，拜光禄大夫。正始五年(244年)，裴潜去世，被追赠为太常，谥号贞侯。其子裴秀继承了爵位。裴潜临死留下遗言，命家人为他从俭办丧事，因此坟墓中只置备了一个座位和几件瓦器，其余一无所有。