于是，在上层的压力下，刚刚打了胜仗的中国宪兵部队不得不撤离雨花台，回到营房。
然而，正是这个错误的决定使得日本谍报机关得知了中国宪兵的驻地位置，从而改变了中国宪兵的命运。当天深夜，日本空军出动轰炸机五十多架，对中国宪兵的驻地进行了疯狂的轰炸，大部分战士在睡梦中被炸死，侥幸逃出者有二百多人，这支国民政府倾注心血组建的王牌部队，就这样因为蒋介石的错误决定而覆灭了。
第二天，蒋介石向唐生智发布了撤退的命令，日军趁机占领南京，惨绝人寰的南京大屠杀开始了。
化整为零异国再显身手
中国宪兵剩余的二百多人被化整为零投放到了西南战场，参加了西南战场的大部分重要战役。特别是震惊中外的长沙会战中，正是由于中国宪兵小分队成功偷袭了日军的临时机场，才使得日军失去了制空权，为长沙会战消灭上万日寇奠定了基础。
在1942年新五军入缅作战中，当部队被日军团团围困的时候，又是三名中国宪兵战士凭借超强的生存能力穿越了日军的封锁，与英美部队取得联系，使新五军避免了全军覆灭的厄运。
这支部队在化整为零以后显示了强大的战斗力，并立下了卓越的功勋。但同时他们自己也损失惨重，抗战胜利以后，他们只剩下五十多人，其中一半人已经因受伤而身体残疾。