仓皇飞台九旬纳妾
1949年12月18日，人民解放军的隆隆炮声逼近成都，国民党妄图固守大西南的迷梦被粉碎，杨森和四川军阀孙震一同从成都市凤凰山机场乘飞机到海口，然后转飞台湾。到台后的第二天，蒋介石接见了杨森，一见面就说：「你保卫反共基地重庆有功，因为你几十年剿共的名声太大，所以我派飞机把你接到台湾来。当晚设宴给杨森洗尘。
1950年4月，蒋介石委杨森为台湾「总统府上将国策顾问」、「战略顾问委员会战略顾问」。蒋介石知道杨森爱好体育，1960年又给他安排了「中华全国体育协进会」理事长（后为名誉理事长）兼台湾「奥林匹克运动会」理事长；还拨给台北市长春路225号的日本式花园洋房1幢。小轿车1辆供杨森使用；还派给警卫2人，厨师1人，司机兼勤务员1人；每月发给台币1万元。能有如此结局，主要是田衡秋的功劳。当年杨森不惜萎自枉曲，以堂堂的陆军上将身份与还是军统中校秘书的毛人凤结为儿女亲家。田衡秋以商贩世家的眼光巴结毛人凤，终起作用。毛人凤遂替杨森说合，将田衡秋三女嫁与蒋介石外甥竺培丰，攀上了姻亲。
杨森在台期间，曾去美国旧金山、洛杉矶、纽约等地旅游，他参观了加州体育馆、好莱坞、内华达州拉斯维加斯城赌场等，并在报上发表了访美观感。杨森以「体协理事会」理事长的身份开展政治的、敛财的活动。台湾体育协进会（后改为「中华民国体育协进会」），是一个民间组织，经费靠募捐维持，杨森就以体协的名义向各方募捐、兜揽生意赚钱。为扩大他在体育方面的影响，他“以身作则”地搞体育活动。他在「体协」理事长任内，以其70岁高龄学会驾驶教练飞机而轰动台湾。他特别喜欢登山运动，每逢星期日无论天晴下雨都要坚持登山活动，他常登七星山、万寿山。在他86岁那年还登上了海拔4000米高的玉山。为表示效忠蒋介石，登上玉山顶时，他高呼：「总统万寿无疆！」驰名中外的大画师张大千特为杨森登玉山作画，并题诗赞赏。
蒋经国任台湾「行政院」院长后，以亲信黎玉玺换下了年已90岁的「体协」理事长杨森。为照顾他的面子，给了他「体协」名誉理事长的头衔。杨森对此很不服气，他以90岁高龄再次登上玉山顶，并在山顶上题字、照相，一时轰动体育界人士，被认为是一大奇迹。台湾和外国记者为此撰写文章，还拍摄了一部杨森的体育运动与家庭生活纪录片。这样一来，更扩大了杨森在台湾体育界的声誉。
杨森结束官场生涯后，不愿居住在台北市，在台北县新店镇稻子园买了一座山，修建起别墅，在此度晚年。他喜好古玩、字画，收存各式武器。同时他还爱好写诗，有收藏手杖的癖好。
1972年2月20日，杨森九十大寿，蒋介石派人在「国防部」三军军官俱乐部为杨森布置寿堂。杨森喜气洋洋，尤其是听说许多人称他是传奇式人物，他更为高兴。他说：「我一生过得平凡而实在，如果岁月不会催人老，我将继续拿出我的力量，为人生而服务。」蒋介石亲书「贞固康强」的寿轴，杨森把它挂于寿堂正中央，以示炫耀。参加祝寿的除了高级军政人员外，还有「宗亲会」、「同乡会」的各色人物，及杨森在美国的女儿等亲友，来宾达三四千人之多。杨森身着棕色条花西服，胸佩一朵大红花，坐在寿堂正中，神气十足地接受子孙们的叩拜和来宾们的祝贺。接着抬来一个直径3尺余，厚1尺余的大蛋糕，杨森煞有介事地举起日本式战刀，切开蛋糕分送来宾。
就在生日会上，另一四川同乡，国民党元老张群前来拜访他，杨森叹息道：「我这个人就是喜欢和年青人在一起，这样才有朝气。」张群知他又想「一树梨花压海棠」的心思，便笑道：「那你再讨（娶）一个吗。」
就这样，17岁的初中生张灵凤被杨森以招募“秘书”为名，娶进府中，成了杨府第“十二钗”。
结婚后，国民党元老于右任送来一副狂草，「海誓鱼龙舞，山盟草木知，」90岁的老人娶了17岁的小姑娘，能说是海誓山盟吗？不到一年，张灵凤居然又为杨森生下最后一女，一时传为海内外的奇谈。
1977年3月，杨森从菲律宾访问归来，被台北三军总医院检查为肺癌，两个月后，96岁的杨森咽下最后一口气，结束了漫长的一生。