1930年冯玉祥、阎锡山同蒋介石在中原作战失败，冯玉祥的铁杆部下孙连仲率部投靠蒋介石，蒋介石委任他为第二十六路军总指挥。从此二十六路军成立。遵照蒋介石的命令孙将部队开到山东济宁一带进行改编。1931年上半年，蒋介石命令孙率部开到江西，参加“剿共”。1931年5月中旬，第二十七师第八十一旅被全歼，第二十七师师部大部和第七十九旅部分被歼灭。1931年12月二十六路军总指挥部参谋长赵博生，二十五师第七十三旅旅长董振堂，第七十四旅旅长季振同和第七十四旅第一团团长黄中岳等，发动了震惊中外的宁都起义，17000多人参加红军。
宁都起义发生以后，二十六路军只剩下了留在后方的骑兵第一师(两个旅：祝常德旅和张华棠旅)、二十七师八十一旅驻宁都石上砍柴岗的一个团及该路军驻南昌和宜黄的办事处、在抚州的新兵训练队和宜黄的炮兵营共10000多人。但由于孙连仲是西北军有名的战将，宁都起义时他对蒋介石并没反心，蒋介石对他并无恨意，另孙连仲与陈诚、熊式辉关系密切，所以很快孙又组织起了二十六路军总部和二十五、二十七两个师及独立四十四旅(由张华棠旅改编，直属路军)。但1932年9月，防守乐安和宜黄的二十七师又被歼灭，孙将二十六路军两个师缩编为二十七师，由孙自兼师长，下辖两个旅和一个独立团。孙为了保住二十六路军的番号，想方设法扩充部队，目光锁住了原西北军吉鸿昌的旧部，当时驻在鄂东麻城宋埠一带的第三十军。因蒋介石要吉鸿昌率部进攻大别山的红军，吉鸿昌愤而离职。孙连仲通过安插心腹到第三十军和采取离间计，很快就接管了第三十军。为了安定人心，孙让原第三十师师长彭振山代理第三十军军长，仍兼第三十师师长，以李敬明(原第三十一师第九十二旅旅长)代理第三十一师师长。孙又把第二十六路总指挥部暂时移驻宋埠，只留第二十七师驻在江西。过了不久，孙又把独立第四十四旅张华堂部(也是原西北军部队)与第二十七师合编为第四十二军。这样，孙连仲的二十六路军又有了两个军的番号和三个师一个旅。1934年春天，孙乘彭振山回河南探亲的机会，突然令彭部向江西开拔，并将后面急速赶来的彭振山交给了南昌行营。蒋介石把彭交给宪兵司令部扣押起来。孙连仲率部回到江西后，他自己兼任第三十军军长和第三十师师长，以池峰城为第三十一师师长，以冯安邦为第四十二军军长，以黄樵松为第二十七师师长，张华堂仍任独立第四十四旅旅长。
1934年10月红军主力转移后，孙抓紧整训留在江西重组的二十六路军，通过整训。二十六路军变成了一支劲旅。1935年第二十六路军奉令开到苏北，参加导淮工程。1936年西安事变时，又奉令进军西北，参加对张学良、杨虎城的“讨伐”。当他率部开到洛阳一带时，西安事变已经和平解决，遂在信阳一带整训、驻防一直到七七事变。
七七事变后，孙连仲的第二十六路军归第二集团军总司令刘峙指挥，奉命开到平汉路保定以北地区参加抗日。刘峙在保定一看形势不利，仓皇南逃，二十六路军被迫后退到河北正定一带。这时蒋介石电令原第二十六路军番号撤销，任命孙连仲为第二集团军总司令，归第二战区司令长官阎锡山指挥，将部队开至娘子关一带，抗击日军。至此二十六路军番号寿终正寝。尽管番号取消，但台儿庄战役的主力部队仍然以二十六路军为主，在台儿庄战役之初孙连仲使用的是原二十六路军的第三十一师池峰城部。日军猛攻台儿庄，攻占了台儿庄一半以上地区，孙连仲速调原二十六路军的第三十师和第二十七师增援，和日军展开了殊死搏斗，终于取得了台儿庄战役的胜利。