在“何婆婆”就范的同时，被蒋介石称为“野心甚炽”的新桂系则继续给他唱反调。李宗仁一再滞留南京，拒绝前往武汉就职集团军司令，第四集团军也就迟迟成立不起来。
蒋介石认识到必须进一步加强与北方冯、阎特别是冯的关系。他亲自从南京来到郑州，与冯玉祥再次见面，还预先托人告诉冯玉祥，说想同对方换帖作盟兄弟。
冯玉祥非常爽快地答应下来：“很好。”于是蒋介石亲笔写了帖子，冯玉祥也写了帖子。两人见面后交换帖子，并互相拜了四拜，就此成了把兄弟。有了冯玉祥这个把兄弟撑腰，蒋介石不再顾虑李宗仁肯不肯上阵。四月五日，他在徐州誓师北伐。之后一声令下，蒋、冯、阎军分别沿津浦、京汉、正太铁路向奉军发起进攻。北伐军所到之处，奉军节节败退。
第二次北伐从一开始就注定胜券在握。对蒋介石来说，唯一需要担心的其实是列强的干涉，尤其将成为北伐主战场的山东至华北一带，一直是日本极力扩张势力的地区。
蒋介石在下野期间，为了试探日本政府今后的对华政策，曾与日本首相田中义一进行过秘密会谈。会谈中，蒋介石发现，只要他一提到“中国革命志在统一全国”的时候，田中的脸色就变了。
蒋介石曾期望日本能像当初支持他“离俄清党”一样，继续支持他实施北伐，但这次会谈结束后，他在日记中写道：“日本必将妨碍我北伐之行动，以防止中国之统一。”
五月一日，蒋介石率北伐军克复济南，已出任南京政府外交部长的黄郛也应召来到济南。
两天后的上午，济南城内忽然枪声四起，黄郛所住的津浦路局办公处被驻济南的日军包围，子弹嗖嗖地飞进来。
黄郛上到二楼，用日语朝楼下的日本兵高声喊：“我是中国的外交部长，不要动武！”日军这才停止开枪。
黄郛乘汽车前往蒋介石所住的督办公署，但那里也不安全，于是又把总部移往一个叫党家庄的小火车站。
这就是“济南惨案”（即“济案”）。据事后中方发布的调查报告，中国军民共被日军打死打伤四千七百余人，蔡公时等十余名外交人员也遭到残杀。身为外交部长的黄郛对日军的野蛮行径深感震惊，他说：“日本人没有当我们中国人是人，这种耻辱与残酷，不仅自己从来没有受过，恐怕在历史上都不曾有过。”
济案发生时，冯玉祥的专车已抵泰安车站。蒋介石让人给他打电报说：“不要来了！”老冯倒很点把兄弟的义气，当即复电：“愈有危险，我愈要去。”
蒋冯会合后，与黄郛等人聚集在党家庄的一所清真寺外面。大家坐在草地上，商量应付之策。蒋介石问冯玉祥在这种情形下该怎么办。冯玉祥说：“现在没有别的办法，只有用革命力量先把这地方的日本人俘虏了再说！至于说出什么大事，我觉得革命就是大事，其它什么事情都不用管。”
冯玉祥说得很解气，但事情并没有这么简单。黄郛在冷静下来之后，判断济案绝非偶然，实际是日本干涉中国的一个信号，也是其阻止北伐的明确表示。如果革命军此时与日本发生正面冲突，不仅会使准备已久且胜利在望的北伐功败垂成，而且会迅速激化中日矛盾，导致中日提前开战。
黄郛向蒋介石建议暂时不与日军直接对抗，绕道济南继续北伐，之后再想办法如何对付日本人。
黄郛的想法道出了蒋介石的心声，他决定接受黄郛的建议。冯玉祥听后表示同意，对蒋介石说：“你有那种忍耐力我也赞成。”
随后，蒋介石改变了单一的军前交涉方式，令黄郛通过外交渠道与日方进行谈判。