1927年，张学良结识了赵四小姐，他们一见钟情，双双坠入爱河。一时闹得沸沸扬扬。面对丈夫的情人，于凤至没有失却昔日风范，待她如同姐妹。这些深为张学良所感动，钦佩。所以，张学良对赵一荻提出，如果她愿意跟随他，没有夫人名义。对外国人称她为自己秘书，对中国人则可称其为侍从小姐。此后他们三人一起出出进进，愉快地生活在一起。凡是和张学良有交往的人，都羡慕他有个和美的家庭，称他有两位贤内助。
1936年底“西安事变”和平解决以后，蒋介石将张学良扣押起来。时值于凤至正在美国旧金山陪伴子女求学，得知此消息后，她立即给宋子文发来电报“学良不良，心急如焚”。希望宋子文能帮助周旋此事。随后，她携带子女怀着焦急不安的心情由旧金山飞抵南京，求见蒋介石。蒋拒不接见。
于凤至无奈只好请宋美龄母亲出面(早年，于凤至曾拜过宋母为干娘，宋母也把她认作四女儿)，并求宋美龄帮助一道做蒋工作。蒋介石仍不开情面，先是通过高级军事法庭将张学良判为有期徒刑10年，尔后又长期软禁。为此事，宋子文曾一气辞去财政部长职务，宋美龄也同蒋大动肝火。于凤至为搭救张学良，几经周折，后因有病急需治疗及考虑到子女的前途，她才又再次携子女赴美。
张学良在溪口幽禁期间，曾住武岭学校，二日后，移居距武岭学校五、六华里的雪窦山中国旅行社招待所，之后当局允许张学良的夫人于凤至和赵四小姐和他同住，两位商量之后，每月一替一换，轮流来此陪伴张学良。于凤至由上海乘船来宁波，赵四小姐则由宁波去上海，有时她们也一同留在张学良的身边，小住几日。
适时，赵四小姐和张学良所生的独子张闾琳(后在美国任太空总署工程师)，还属幼小，正是需要母亲在身边照顾的年龄。于凤至为了使赵四更好好地抚养幼子，便说服赵四小姐返回上海，自己留下。而后的三年幽禁中，她由溪口辗转奔波江西、湖南的生活，使她的身心受到很大的伤害，乳房烂疮日渐加重，张学良便向军统局局长戴笠提出，让于凤至出去治病，由赵四小姐来照料自己的生活。蒋介石批准了张学良的要求，自此，天人两隔。