在1934年国民党政府的阅兵大典上，有一支神奇的部队走进了各国公使的视线，这是一支大约四千人的队伍，采用的是德国军队装束，配备的武器也是当时最先进的德国冲锋枪。凡是稍微有一点军事常识的人都可以看出，这是一支具有极强战斗力的部队。据当时的国民政府秘书邵则明多年后回忆：“当时，英国大使面容惊愕，日本大使面色苍白，德国大使微笑着对法国大使说，这是我们德国人训练出来的军队。美国大使叹服地说，这是中国两支最好的部队之一，德国大使不服气地反问，在中国还有哪一支部队可以与他们抗衡?美国大使感慨地说，只有一支，那就是成吉思汗的部队。”
这支神秘的部队，就是南京国民政府自1927年起倾尽国力秘密组建，并于1933年邀请德国特种部队教官进行训练而成的王牌特种部队———委员长特别卫队，其代号为中国宪兵。
据日本女间谍川岛芳子于1946年交代，1934年国民政府国庆阅兵后仅三十分钟，日本情报机关就接到了土肥原从南京发来的密电，上面只有一句话：中国宪兵现身南京，战斗力极其强大。
战斗力强大却无处用武
中国宪兵的前身，大体可以上溯到北伐战争中叶挺的“铁军”，随着国民政府统治的巩固，蒋介石于1927年开始了对全国二百万军队的选拔工作，经过层层严格筛选，组成了一支八千人左右的卫队。卫队的成员个个身怀绝技，以一当百。1933年，随着国民政府与德国的关系日益密切，应蒋介石的邀请，希特勒秘密派遣冲锋队王牌教官勃罗姆来华，进行中国宪兵的秘密训练工作。在勃罗姆的严格训练下，又有近四千名士兵遭到淘汰，至此，中国宪兵正式形成。在德国教官的严酷训练和先进的德式武器装备下，他们如虎添翼，终于成为中国乃至整个亚洲最为精锐的部队。
1937年，中日战争全面爆发，在江南战场上，中日双方几乎集中了最精锐的兵力。中国宪兵也受命开赴前线。南京卫戍司令长官唐生智曾建议将中国宪兵组成小分队，通过空投的方式打入日军的后方，破坏日军的主要军事基地。这个高明的建议反而遭到了蒋介石的训斥。这支价值连城的军队如果有任何损失，都是蒋介石挖心之痛。于是，在这种“保存实力”的思路下，中国宪兵在战争的开始阶段始终在南京原地待命，充当了抗战的看客。
唐生智冒死动用王牌军
杀敌的机会终于来了，随着上海等地的陷落，日军向南京发起了总攻，蒋介石逃往武汉，也许是出于断后的考虑，他将中国宪兵留在了南京。随后，唐生智率领十万南京守军与日军展开了巷战，中国宪兵却还在营房处于待命状态，因为没有蒋介石的命令，任何人都无权调动这支部队。
战况越来越紧急，第五军军长张治中及其部队被日军包围在雨花台。这支抗战的英雄部队伤亡惨重，甚至连张治中的警卫队也伤亡殆尽。为了拯救第五军，唐生智痛下决心，冒着被枪毙的危险，与中国宪兵旅长易安华密谋，调动了中国宪兵两个营的兵力去雨花台接防。
此时，日军几乎完全消灭了第五军，攻击雨花台的是日本甲种师团梅村师团。(注：日本在二战中一共拥有六支甲种师团，两支作为关东军守备东北，后被苏联红军消灭，两支留守日本国内，之后参加了太平洋战争。另外两支就是中国人所熟悉的梅村师团和“皇军之花”板垣师团，始终投放在中国战场，并与国共多支军队交手，是侵华战争中日军的骨干力量。)师团长梅村是蒋介石在东京留学时的同班同学，并且曾经因为决斗胜利而缴获了蒋介石的家传宝刀，这件事情也是蒋介石青年时代的奇耻大辱。然而，也正是这位梅村师团长，在雨花台争夺战中，最终成就了中国宪兵的赫赫威名。
六百宪兵打败两万日军
当两个营的中国宪兵与第五军在雨花台接防完毕的时候，梅村气势汹汹地发起了新一轮攻击浪潮，他得意地认为面对的只是一批疲弱不堪的第五军战士。然而，就在这个时候，雨花台响起了德式冲锋枪的怒吼，大吃一惊的梅村刹那间大脑一片空白。在二十年后的回忆录中，他这样描述自己的心情：“我的头脑一片空白，不知道是兴奋还是惶恐，我突然意识到，我们真正的对手来了。”
如果说开始日本人只是惶恐的话，那么之后的一天时间则成了这些所有经历过这场战争的日本军人永远的噩梦，两万多日军对两个营中国士兵的战斗，成了梅村师团历史上最大的耻辱。六百名中国宪兵，平均每个人要防守一段二十五米长的阵地，平均每个人要面对五十名日本甲种师团士兵。战斗从早上打到黄昏，一批批日军倒在了雨花台上，始终不能前进一步。梅村师团也不愧是日军战斗力最强的部队，始终攻击不止，在最危急的时刻，梅村亲自带领敢死队，拿着当年从蒋介石手中赢得的宝刀，与中国宪兵在阵地上拼起了刺刀，然而中国宪兵也以硬对硬，装上枪刺与日军展开肉搏。终于，号称天下无敌的梅村师团，在黄昏时分倒在了中国宪兵坚韧不拔的精神面前，丢下上千具尸体仓皇撤退。值得一提的是，在拼刺刀的战斗中，梅村的那把宝刀被中国宪兵的战士缴获，梅村自己也被砍伤了胳膊，幸得部下掩护才保住了一条性命(这在日本武士道精神中可谓奇耻大辱)，而中国宪兵也付出了惨重代价，五十多名战士长眠在雨花台上。
梦中遭轰炸几乎全军覆灭
战斗结束后，兴奋的唐生智连忙打电话向蒋介石报功，蒋介石得知梅村战败、宝刀复得时大喜。但是得知中国宪兵参战后不由得勃然大怒，将唐生智狠狠责骂，并再次下令没有自己的手令，任何人都不能擅自调动中国宪兵。于是，在上层的压力下，刚刚打了胜仗的中国宪兵部队不得不撤离雨花台，回到营房。
然而，正是这个错误的决定使得日本谍报机关得知了中国宪兵的驻地位置，从而改变了中国宪兵的命运。当天深夜，日本空军出动轰炸机五十多架，对中国宪兵的驻地进行了疯狂的轰炸，大部分战士在睡梦中被炸死，侥幸逃出者有二百多人，这支国民政府倾注心血组建的王牌部队，就这样因为蒋介石的错误决定而覆灭了。
巧合的是，第二天，蒋介石向唐生智发布了撤退的命令，日军趁机占领南京，惨绝人寰的南京大屠杀开始了。
化整为零异国再显身手
中国宪兵剩余的二百多人被化整为零投放到了西南战场，参加了西南战场的大部分重要战役。特别是震惊中外的长沙会战中，正是由于中国宪兵小分队成功偷袭了日军的临时机场，才使得日军失去了制空权，为长沙会战消灭上万日寇奠定了基础。在1942年新五军入缅作战中，当部队被日军团团围困的时候，又是三名中国宪兵战士凭借超强的生存能力穿越了日军的封锁，与英美部队取得联系，使新五军避免了全军覆灭的厄运。这支部队在化整为零以后显示了强大的战斗力，并立下了卓越的功勋。但同时他们自己也损失惨重，抗战胜利以后，他们只剩下五十多人，其中一半人已经因受伤而身体残疾。
1946年，国民政府重新改组中统特务组织，这些中国宪兵的剩余人员被任命为中统教官，甚至有人在渣滓洞集中营供职。1949年以后，他们中的大部分逃往台湾，少部分在解放后被镇压枪毙。逃往台湾的那一部分又很快成为台湾特务的骨干。