其次，整合瓦岗周围义军力量，为此，自己只身前往游说瓦岗周围大中小各路义军。因为他明白老大翟让根本不相信他，瓦岗也没有他的立足之地，这可以看做是李密主动缴纳投名状。
李密当过私塾先生，还是有点口才的。很快各路中小义军就被他说得晕乎晕乎的，加上当时的流行歌曲《桃李章》刚好流传到那里，所有人都认为这个姓李的就是真龙天子，现在跟着他，日后也可以封侯拜爵的。
很快，瓦岗军从一万猛增至十万之众，接下来，军粮、住房就成了问题。
翟让很担心，不得不再次请教李密。
李密只说了八个字“打金堤关，攻取荥阳”。翟让再傻，也明白其中的道理，因为那里交通便利而且商旅众多。
打仗就要制定计划，李密很快又帮翟让制定了一套进攻计划。
瓦岗军依计行事，一举拿下金堤关，然后向荥阳郡县进军。
荥阳是历史上的军事重镇，历代兵家必争之所：春秋时，晋楚争霸，曾大战于此；公元前230年，秦灭韩国后，为加强对中原地区的控制，在荥阳广武山麓建敖仓，储积大量粮食并派驻重兵，使荥阳一跃成为著名的军事重镇；公元前209年，陈胜、吴广亲率大军围攻荥阳，在这里与秦军大战，后吴广战死于荥阳；楚汉战争时，荥阳更是争夺的中心，刘邦与项羽在这里长期对峙、反复争夺，最终以鸿沟为界中分天下；三国时，刘备、关羽、张飞与吕布在荥阳的虎牢关（今荥阳市汜水镇）大战，这就是历史上有名的“三英战吕布”。
此外，荥阳还是水运枢纽，粮储中心，大禹于荥泽分大河为阴沟，引注东南。魏惠王开鸿沟，在荥阳北开口（荥口），引黄水经圃田入大梁。秦始皇疏鸿沟以通淮、泗，漕运淮河南北粮食至荥阳敖仓。杨广大规模修治洛、黄、汴河，称通济渠，沟通南北，连接东西，是当时的水运枢纽。
面对十万之众的瓦岗军，荥阳太守杨庆除了唉声叹气，却无计可施。
杨广获知瓦岗军出动这么大的阵势来抢自己的粮仓，必须派一个能人去干掉他们，最终他选了当朝名将，有“威振东夏”称号的张须陀前往执行此任务。当然选中他，还因为他曾剿灭过多路大大小小的起义军，包括王薄和郝孝德等这样义军，见了老张也得绕路走。
大业十二年十月，杨广任命张须陀为荥阳通守，手下有两万多大隋精锐，包括秦叔宝、罗士信这样家喻户晓的猛将。