张学良正式的婚姻只有三段，第一段是和于凤至。张学良的第二段婚姻是和谷瑞玉，因为和于凤至尚未离婚，所以，谷瑞玉始终都是姨太太，也被称为随军夫人，1922年结婚，1925年，郭松龄反奉失败后，因谷瑞玉疑似与杨宇霆有牵连，造成夫妻矛盾而离婚。张学良第三段婚姻是和赵四小姐，即赵媞，也名赵绮霞、赵一荻、赵香笙、赵多加。
张学良主政东北后，谷瑞玉不甘住在沈阳经三路的小洋楼里。她不顾张的反对，几次争着想回大帅府，认为张今天所得地位与她当年随军征战不无关系。
1931年1月，张学良与谷瑞玉解除了婚姻关系。张学良在天津的英租界为谷瑞玉购买小楼房一幢，又给她10万元作为生活之资。