宋高宗做康王时，已经有了五个女儿，只有潘贤妃为他生育了一个儿子，但也早天。建炎三年(公元1129年)，高宗逃难途中，仍然沉迷于声色之中，某日白天与嫔妃行床第之欢，突闻金军前来，匆忙上马逃跑，因此丧失了生育能力。虽然街医想尽办法为他治疗，但还是没有任何希望。
绍兴元年(公元1131年)，右仆射范宗尹、同知枢密院事李回、参知政事张守上虞县(今浙江省上虞市)丞娄寅亮先后上书，请求于宋太祖系诸孙中挑选贤德的幼童过继为子，作为皇位继承人。此后，同是太祖赵匡胤的七世孙赵伯琮、赵伯玖分别被选入宫中，赵伯琮后改赐名为赵瑗。绍兴五年(1135年)，高宗封赵瑗为建国公，令其读书于专设的资善堂，实际上等于是皇子的待遇。
岳飞曾经在入朝时候，去过赵瑗读书的资善堂，见过这个十岁左右的孩子，聪敏可爱，有着不同于同龄幼童的端正和大方。岳飞情不自禁地心里默念道：“国家中兴希望，看来在他身上了。”
但是，宋高宗却迟迟不立赵瑷为皇储。他仍然抱有生子的幻想，这样赵瑷就可能随时被废。
面对这种局势，宰执们大都赞成早日确立皇储，反对者主要是秦桧。岳飞与军中高级将领及幕僚们每当聊及确立皇储这个问题时，因为岳飞得到可靠情报，金国准备废掉伪齐皇帝刘豫，改立被俘的宋钦宗的儿子赵谌为傀儡皇帝，制造两个宋国对立的局面。
赵谌曾经于靖康元年被立为皇太子，按照传统的观念，他更具有当皇帝的“合法性”。那样的局面一旦出现，不但对北方人民的心理产生影响，而且可能殃及南方，岳飞的抗金大业将面临非常复杂的局面。
1137年秋天，岳飞在前往建康府的路上写了一道建议立赵瑗为太子的奏疏。
在与高宗见面时，岳飞说有一份重要的奏疏需要给皇帝，于是高宗让岳飞宣读。此时，岳飞突然想到了赵宋王朝历来有防范武将干预朝政的祖宗家，声音颤抖的读完了这道建议立赵瑗为太子的奏疏。
高宗耐心地听岳飞把奏疏念完，然后让岳飞抬起头来，仔细打量了几分钟，冷冷地说道：“一片忠心呀!但是你领重兵于外，这种事你怎么能参与呢!”随即让岳飞赶快退朝。
岳飞出去之后，后脖颈子发凉，面如死灰，如鲠在喉。
当晚，高宗辗转反侧，一直睡不着，第二天早上高宗又急召宰相赵鼎进宫。高宗直接谈昨日岳飞奏疏一事，恼怒地说：“岳飞不守规矩，怎么能上这样的奏疏呢?必须警告他，以后一定不能干这样的事了!”
赵鼎退朝之后，赶忙召见岳飞的幕僚，让他们告诉岳飞：大将领重兵于外，岂可参与此类朝廷大事?一点也不避嫌。岳飞一个武人不知道此类规矩，估计是军中幕僚们出的馊主意。回去告诉岳飞及下属保全性命要处处小心!干好自己的本职工作就行了!
攘外必先安内，这是宋太宗留下的名言。安内的一项重要谋略，就是时刻防范武将。南宋初年，高宗迫于内外交困的形势，不得不让岳飞、韩世忠等将帅居高位、掌重兵。但是，他与宰执大臣，不论是对投降派还是抵抗派，大多抱着不得不是必须防范的心态。立储这类大事，如果奏疏出自文官，会被理解为一片忠心，但出自武将的话就会被理解为别有用心。
岳飞立储之议，结果不仅未能推进皇储问题的解决，反而更加深了他与高宗之间的矛盾。