由于指挥上的失误，中国远征军第一次入缅作战以失败告终。4月30日，远征军长官部从瑞保撤至甘勃卢，集结于曼德勒地区的远征军各部均于当夜前转移至伊洛瓦底江西岸。5月1日，曼德勒为日军占领。
从东线包抄的日军第56师团先头部队5月5日到达怒江西岸惠通桥附近。日军第56师团搜索联队4月30日从腊戍出发，沿途击退新29师在新维、贵街的坚强抵抗，5月3日攻占畹町，是夜复占八莫，8日再占密支那。中国远征军撤回国境的另一条主要通道被完全切断。
由于形势急转直下，东路日军已突进至远征军主力左侧后。5月6日，长官部得知畹町、龙陵等地已经失守(当时因部队尚在移动之中，通信不畅，尚不知八莫失守及日军已抵怒江)，认为再按原定计划撤退，将极为困难，因而史迪威和罗卓英决定将沿铁路两侧向密支那撤退的第5军等部队改为向印度撤退，因此连续两次电令第5军。
据估计，这时在缅甸的远征军主力尚有第5军军直15000人、下属新编第22师6000余人、第200师7000人、第96师5000余人，以及第66军的新编第38师7000余人(杜聿明回忆录数据有所不同)。但杜聿明出于对史迪威的恶感，不愿退入印度，仍希望率部返回国内。经向蒋介石请示，蒋同意仍由密支那方向撤至腾冲。第5军遂按原计划向密支那方向转移。远征军司令部于7日开始从曼西撤退。史迪威带中、美少数人徒步西行，于24日抵达印度丁苏基，改乘飞机去新德里;罗卓英率长官部人员一面收容一面前进，于23日抵达印度英帕尔。
5月12日，第5军各部抵达曼西，13日破坏了重型装备，开始进入山区徒步转进。此后，各师即失去掌握，各自行动。第五军的部队则不得不徒步在原始森林的“野人山”山区向胡康河谷的太洛等地前进。
按照杜聿明回忆录的记载，进入野人山包括了第五军部分军直部队、新22师、第96师部队约2万人，其中第96师(5000-6000人)作为后卫，进入野人山后独立行进，并成功翻越高黎贡山返回国内。第200师与部分军直部队包括补训处的补充1、2团等部则沿滇缅公路方向，从日军封锁线中间夺路回国。
缅甸北部，至今仍然是一个外人难以涉足的神秘世界。孟拱以北，山岭纵横，河流密布，几乎所有溪流都汇入的一条长达400公里的河谷。这河谷从南向北几乎延伸到喜马拉雅山下，其中部有一个陡峭的峡口，将河谷分成两段，南边一段叫做孟拱河谷，虽环境艰苦，尚有人迹;北边的一段，则完全没有人烟，缅甸人把它叫做胡康河谷，也被称为“野人山”。
由于杜聿明的犹豫不决，第五军军部和新22师“弃车上山”的时机也已经太迟，大约一万余人的部队在环境恶劣的野人山又碰上最糟糕的雨季。
当时，退入缅北森林的中国军队把旱季干涸的溪谷河道当做交通要道，但在雨季干涸的河流会由于上游降雨而猝发山洪，洪水来势凶猛，荡涤一切，转瞬之间，人马即无影无踪。不仅如此，冰冷的雨还带走了热量，带走了体温，蚂蝗成群结队，循着人的气息随时袭来，无孔不入。
杜聿明部官兵在饥饿中以树皮野草裹腹，并完全迷失方向，绝粮8日，赖空投地图方于5月31日到达清加林长姆特，得到美军空投的支援。此时，杜聿明不得不奉命改道进入印度，在空投粮药的支援下，经新平洋于八月初撤到印度列多。此时，杜聿明率领的军部和新22师仅生还官兵三千余人。