潜容貌瑰伟，善言谈，少有成人志尚。仪同贺拔胜辟开府行参军，补侍御史。世宗引为大将军西阁祭酒，转中外府中兵参军，机事强济，为世宗所知，言其终可大用。王思政见获于颍川，世宗重其才识。潜曾从容白世宗云：“思政不能死节，何足可重!”世宗谓左右曰：“我有卢潜，便是更得一王思政。”天保初，除中书舍人，以奏事忤旨免。寻除左民郎中，坐讥议《魏书》，与王松年、李庶等俱被禁止。会清河王岳将救江陵，特赦潜以为岳行台郎。还，迁中书侍郎，寻迁黄门侍郎。黄门郑子默奏言，潜从清河王南讨，清河王令潜说梁将侯瑱，大纳赂遗，还不奏闻。显祖杖潜一百，仍截其须，左迁魏尹丞。寻除司州别驾，出为江州刺史，所在有治方。
肃宗作相，以潜为扬州道行台左丞。先是梁将王琳为陈兵所败，拥其主萧庄归寿阳，朝廷以琳为扬州刺史，敕潜与琳为南讨经略。琳部曲义故多在扬州，与陈寇邻接。潜辑谐内外，甚得边俗之和。陈秦、谯二州刺史王奉国、合州刺史周令珍前后入寇，潜辄破平之，以功加散骑常侍，食彭城郡干。迁合州刺史，左丞如故。又除行台尚书，寻授仪同三司。王琳锐意图南，潜以为时事未可。属陈遣移书至寿阳，请与国家和好。潜为奏闻，仍上启且愿息兵。依所请。由是与琳有隙，更相表列。世祖追琳入京，除潜扬州刺史，领行台尚书。