潘濬为人聪察，对问有机理。他二十一岁时师事于大儒宋忠，并受到“建安七子”之一的王粲赏识，因而知名。不到三十岁就被荆州牧刘表任命为江夏从事。当时沙羡县长贪污腐败，被潘濬审查处死，使得全郡震惊恐惧。后来担任湘乡县令，治理湘乡颇有名声。建安十四年(209年)，刘备领荆州牧，任命潘濬为治中从事。建安十六年(211年)，刘备入益州，将潘濬留下以管理荆州事务。
建安二十四年(219年)，孙权派军袭杀关羽，占领荆州，将领官员全都归附，而潘濬却称疾不见。孙权亲自登门拜访，潘濬仍涕泪交横，伏床不起，孙权以观丁父、彭仲爽等俘虏出身的楚地先贤为例安慰潘濬，又派人以手巾帮他擦脸，潘濬才下地拜谢，并将荆州军事部署详细告诉孙权，被拜为辅军中郎将，并领兵。
当时，武陵从事樊胄企图煽动五溪蛮夷将武陵献给刘备，孙权询问潘濬，潘濬认为派五千人前往就够了，孙权问为何轻视他，潘濬回答：“樊胄颇能卖弄唇舌，实际上却没有辩论之才，先前曾为州中人士准备宴会，但是到了中午都还没有东西吃，十几个人就自行离开了，这就如同只看到侏儒的一部份，就可以得知全貌一样。”孙权大笑，派遣潘濬统领五千人前往，果然斩杀平定樊胄。
后升迁为奋威将军，封常迁亭侯。黄武六年(226年)，奋武中郎将芮玄去世，潘濬统领他的部曲，屯驻于夏口。当时，骠骑将军步骘屯驻于沤口，请求向招募诸郡以增加兵力。孙权询问潘濬的意见，潘濬说：“豪将在民间，耗乱为害，加上步骘有名有势，是被身边的人谄媚，因此不可同意。”孙权听从潘濬的建议。黄龙元年(229年)，孙权称帝，任命潘濬为少府，进封刘阳侯。后迁任太常。
黄龙三年(231年)二月，孙权授予潘濬符节，命其与吕岱督军五万讨伐五溪蛮夷。潘濬赏罚得当，在数年间，斩杀俘获几万人。自此五溪蛮夷逐渐衰落，一方得以安宁无事。黄龙六年(234年)十一月，潘濬回到武昌。他长期与陆逊屯驻武昌，管理荆州事务。嘉禾四年(235年)，潘濬的表哥蒋琬升任蜀汉大将军，有间谍谣传潘濬派遣密使联络蒋琬，打算投奔蜀汉。武陵太守卫旌上表告诉孙权，孙权说：“承明不会做这种事。”并免除卫旌的官位(《资治通鉴》将此事放在蒋琬任诸葛亮长史时)。
孙权宠信校事吕壹，吕壹为人刻薄，用法严酷，又操弄权势，潘濬与陆逊对于他的作为感到忧虑，说到伤心处还以泪洗面，甚至感到不安与恐惧。 公元236年(嘉禾五年)，吕壹弹劾丞相顾雍和左将军朱据，二人下狱。黄门侍郎谢厷问吕壹：“顾公的事如何?”吕壹回答：“情况不太可能好。”谢厷又问：“那么顾公被免职的话，谁会代替他?”吕壹没有回答，谢厷说：“会不会是潘太常?”吕壹过了良久才说：“你说的很有可能。”谢厷说：“潘太常恨你切齿，只是路远没机会而已。今天他一但接替顾公，恐怕明天就打击你。”吕壹大为害怕，于是顾雍的事便不了了之。之后潘濬请求朝见孙权，想要极力劝谏，到了之后听说太子孙登早就说过很多次但都不被接受，便大规模宴请百官，打算在宴会中亲手杀死吕壹，可惜计划泄露，吕壹借口生病不去。潘濬只好趁着每次近见孙权的时候，大力陈述吕壹的奸险，因此吕壹受到的宠幸逐渐衰微，最后被诛杀。孙权引咎责怪自己，因而向大臣致歉。在诏书中责备诸葛瑾、步骘、朱然、吕岱等人之前推脱责任，并称赞了陆逊和潘濬忧心为国。公元239年(赤乌二年)，潘濬去世，其子潘翥袭爵。