检讨会矛头直指汤恩伯
1949年5月，上海战役失败后，逃台的国民党军政人员议论纷纷。当时，汤恩伯部队装备精良，然而只抵抗了十多天就全城崩溃。为了弄清失败原因，蒋介石指示陈诚在台北主持召开一次上海防卫战失败检讨会。
7月2日，检讨会在台北一所宾馆举行。出席会议的有军政大员以及参加过上海防卫战的师级以上军官，原京沪杭警备总司令汤恩伯被邀与会作情况报告。
轮到其他人发言时，一些高级将领都把矛头指向汤恩伯。原第37军军长罗泽闿说，他的部队驻扎在浦东，条件最差，汤恩伯对他的部队另眼相看。更为恶劣的是，汤恩伯下令各部队撤退时，惟独不通知他的37军，导致37军全部被歼，他和副军长王大钧等少数人化装成平民才死里逃生。原37军副军长王大钧在随后的发言中，对汤恩伯也作了诸多抨击。
散了会，汤恩伯走出会议室时，一直低头不语。回家后，汤恩伯大发牢骚说：“国民党在大陆打了那么多败仗，死伤的人比上海防卫战要多得多，为什么一次检讨会也没有开，而独开上海防卫战的检讨会?”
汤恩伯心里很清楚，他以后在台湾的处境肯定不妙。后来，罗泽闿见一直未处分汤恩伯，就到军事法庭告状。蒋介石觉得不妥，指示陈诚劝罗泽闿撤回状纸，并私下告诉罗泽闿，开检讨会其实就是批判汤恩伯，没必要再纠缠。
不肯行刑让蒋恼火
1949年初，浙江省政府主席陈仪受共产党影响，到上海策动时任京沪杭警备总司令的汤恩伯起义。汤恩伯早年到日本士官学校留学的名额是陈仪争取的，费用也由陈仪资助。为感激陈仪，汤改名“恩伯”，并拜陈仪为“义父”、“恩师”。
陈仪将自己的想法告诉汤恩伯后，引起汤恩伯的反感。为了表示自己大义灭亲，汤恩伯竟将自己的恩师出卖了。2月21日，蒋介石下令逮捕陈仪。
据汤恩伯后来讲，他接到命令时，曾向蒋介石提出条件，不能处死陈仪，蒋介石答应了。1950年6月，蒋介石违背诺言，决定处决一批为共产党效劳的高级“叛逆”，其中包括被押送到台湾的陈仪等人。
为救陈仪，汤恩伯几次找“政学系”首领张群，并请求面见蒋介石。蒋介石听后大怒：“陈仪犯那么大的罪，他汤恩伯心里不清楚吗?这事任何人求情都不行!汤恩伯活堕落了，他要为陈仪说话，我不见他!”
蒋介石不但不见汤恩伯，还要他亲自处决陈仪，以此来检验他是不是真正的“大义灭亲”，但汤恩伯坚决不干。
蒋介石没有办法，只得下令由陈仪的妹夫、“国防部”政务次长袁守谦等人执行陈仪的死刑。1950年6月18日凌晨，陈仪被枪决。此后，蒋介石就更不喜欢汤恩伯了。
日本买房走漏消息
陈仪事件及政治上不受重用，对汤恩伯刺激很大，他感到无脸见亲友，很想到日本去度过余生。
早在上海防卫战时，汤恩伯就在做逃往日本的准备。据谷正纲等人透露，那时，汤恩伯知道守不住上海，便将其亲信王文成、龙佐良偷偷派往日本，为其寻找避难所。
1949年5月6日，汤恩伯令亲信从上海秘密将50万美元军费汇到美国一个朋友的账户上，再由这位朋友将钱转汇给日本的王文成、龙佐良处。
王文成初到日本时，未与蒋介石集团的驻日机构取得联系。后来，汤恩伯考虑王文成、龙佐良无处领薪，便建议将两人吸收到驻日军事代表团工作，担任编外顾问。
王文成、龙佐良一门心思为汤恩伯寻找退路。1949年7月，这两人花3万美元在日本东京近郊给汤恩伯买了一栋有22间房间的豪宅。
汤恩伯在日本买房子后，不慎走漏了消息。1950年2月2日，路透社从东京发出一条新闻：《蒋介石透过一个中国高层官员在日本东京近郊购豪宅》。
蒋介石得知后大骂道：“混账!怪不得上海和东南沿海败得那么快，原来他(汤恩伯)早作了逃往日本的准备!”
1950年3月，汤恩伯以召募日籍志愿军反攻大陆为由，决定去日本。汤恩伯上飞机后，机上验票人员要他出示赴日证件。汤恩伯声称是受政府委派到日本执行特殊任务，未办签证。机上工作人员要他下飞机，他坚决不下，并与工作人员发生激烈争吵。
蒋介石判断汤恩伯想逃往日本，于是下令阻止。几名军警接到命令后，强行将汤恩伯拉下了飞机。
死在日本手术台上
汤恩伯在台不受重用，逃日又未成功，思想包袱十分沉重。1953年9月12日，是他的55岁生日，他原计划请几桌客，后来取消了。
由于长期怄气，导致汤恩伯身体消瘦。医生说他肝部有问题。
后来，汤恩伯申请去日本治病。蒋介石讽刺说：“有大过的人，还要到日本去治病!”随后，在汤恩伯的申请报告上签了“就地医治”4个字。
1953年10月2日，雷震动员汤恩伯住院。汤恩伯愤愤地说：“我的病在台湾治不好，住院也无益。要治病，只有到国外。我申请到日本治病，总裁又不同意，没有办法，只有等着死!”
1954年4月，汤恩伯突感腹部疼痛，医生发现他的十二指肠部有一个肿瘤，判断可能是癌症，建议他到国外做手术。汤恩伯的家人立即给“总统府”打报告。蒋介石同意了。
1954年5月26日晚，汤恩伯在家人的护送下，搭乘日航班机去日本东京。汤恩伯一下飞机，就被送往日本东京一家医院。6月29日，汤恩伯做手术时，因失血过多，死在手术台上，终年56岁。30日，台湾多家报纸刊登了汤恩伯在日本病死的消息。
蒋介石得知汤恩伯死了，反应冷淡，只说了一句：“死了也好。”