杨行密幼时丧父，家庭贫困。为人高大有力，能手举百斤，一日可走三百里路。 唐乾符年间(874年―879年)，江淮造反群起，杨行密因参加造反被抓获，刺史郑棨以其相貌奇特，解绑放走。后来应募为州兵，戍守朔方(今宁夏灵武)，迁为队长。一年戍边期满而还，但军吏讨厌他，又让他去戍边。杨行密准备起程，路过军吏的住处，军吏假装说好话，问杨行密要去干什么。杨行密大声说：“只取你的头!”当即斩下军吏的首级，携带而出，趁此起兵为乱，自称八营都知兵马使。刺史郎幼复弃城逃走，杨行密于是占据庐州。中和三年(883年)，唐朝拜杨行密为庐州刺史。淮南节度使高骈被毕师铎所攻，高骈上表杨行密为行军司马，杨行密率兵几千人赴援，走到天长时，毕师铎已囚禁高骈，并召宣州秦彦进入扬州(今属江苏)，杨行密不能进入扬州，屯军于蜀冈。毕师铎率兵数万攻打杨行密，杨行密假装失败，放弃营寨逃跑，毕师铎的士兵饥饿，乘胜争相入营收取军资，杨行密回兵攻击，毕师铎大败，单骑逃回扬州城，并杀死高骈。杨行密听说高骈已死，令全军穿白色丧服向城哭三天，再进攻西门，秦彦及毕师铎逃奔到东塘，杨行密于是进入扬州。
当时，扬州城中仓库空虚，饥民互相残杀充饥，夫牵妻、父牵子卖给屠宰场，被卖的人如同羊、猪一样被屠夫宰杀。杨行密无法守城而想离开。但蔡州秦宗权派遣其弟秦宗衡攻掠淮南，秦彦及毕师铎还师东塘，与秦宗衡联合，杨行密闭城不敢出。不久秦宗衡被偏将孙儒所杀，孙儒攻破高邮，杨行密更加害怕。杨行密的门客袁袭说：“我们以新募集的军队守卫空城，而将领大多是高骈的部下，必须有厚恩信义和有力的统制才能使他们心服。现在孙儒军势正盛，攻无不克，这是将领们持两端、选强弱、择向背的时候。想到海陵镇使高霸，是高骈的旧将，肯定不能为我所用。”杨行密于是以军令召高霸，高霸率兵进入广陵，杨行密想让高霸守天长，袁袭说：“我们因怀疑高霸而召他，还能再重用他吗?再说我们若能战胜孙儒，就没有必要用高霸，不幸不胜，天长我们哪能拥有呢!不如杀掉高霸而吞并其部。”杨行密于是犒赏军队，擒获并族灭高霸，得其部下数千人。不久孙儒杀秦彦、毕师铎，合并他们的军队攻打杨行密，杨行密想到海陵。袁袭说：“海陵难守，而庐州是我们的旧治，城池完好，仓库充实，可做以后图谋的基地。”于是杨行密退到庐州。很久以后，不知往哪个方向出去，杨行密问袁袭说：“我想整装兼程而行，西取洪州可以吗?”袁袭说：“钟传新近得到江西，势头正盛，不可图谋，而秦彦进入广陵时，召池州刺史赵锽托以宣州。现在秦彦已死，赵锽失去依恃，而守卫宣州非其本意，况且他的为人不是公敌，所以赵锽可以攻取。”杨行密于是率军攻打赵锽，两军战于曷山，大败赵锽，进而围困宣州，赵锽弃城逃去，被追上杀死。杨行密于是进入宣州。