1137年(绍兴七年)二月，岳飞奉诏入朝觐见高宗，其间曾与高宗作《良马对》。高宗问岳飞有无中意的马匹，岳飞说以前有两匹，后来死掉了。岳飞说：“良马吃的草料、喝的水都比较多，但是对草料和水的要求都很高。宁愿饿死，也不吃不清洁的草料，不喝不清洁的水。跑起来，一开始也不太快，跑了一百多里之后会突然加速再跑二百里。解除鞍甲之后，一点也没有疲劳的感觉，也不流汗，好像若无其事的样子。这才是良马呀!而不良的马，吃得不多，但是对草料和水的要求几乎可以说饥不择食，渴不择饮。还未戴好马鞍，就显出急不可耐的样子，刚跑了一百里地就气喘吁吁立即躺到地上，一副要死的样子。”岳飞以马喻人，把自己比作良马，希望高宗能够给他尽可能多的兵马，以便完成直捣黄龙府的大业。
后来，岳飞官职也升至荆湖北路、京西南路宣抚使兼营田大使。一日高宗把岳飞召至“寝阁”授命说：“中兴之事，朕一以委卿。”准备将刘光世所部王德、郦琼等兵马五万余人隶属于岳飞。
岳飞见部队行将扩充，收复中原有望，心情异常激动，便亲手写成一道《乞出师札子》。岳飞陈述了自己恢复中原的规划，而且此时已不再提及迎还“二圣”或者“渊圣(宋钦宗)”之事，只将钦宗包括在“天眷”之中。
高宗览岳飞奏疏后，亲赐御札嘉奖，都督府也将刘光世军情况通报岳飞。拨刘光世军与岳飞，似成定局，不意张浚和秦桧从中梗阻，高宗听从张浚之议，置已决之“前议”于不顾，又下诏给岳飞说：“淮西合军，颇有曲折。”不将刘光世军拨与岳飞。张浚见了岳飞，撇开归刘军与岳飞之“前议”，以淮西军中人事安排相问，岳飞耿直的回答却遭张浚讥刺。
眼见扩军无望，岳飞乘船溯江西上。但他没有直接回到鄂州军营，而是先到了庐山东林寺。岳飞心中有怨怒，于是给朝廷写了一道奏疏。借口与宰相张浚议事不合，请求解除兵权，留在庐山，为母亲服完剩余的丧期。
高宗收到岳飞要求解除军职的奏疏后，勃然大怒，此前对岳飞的好感烟消云散。他认为岳飞简直是胆大包天，竟敢挑战自己的权威，实在是大不敬。好在时任左司谏的陈公辅认为岳飞忠义，有此反常行为，原因应该与合并刘光世军队没有成功有关。
高宗权衡利害得失后，为了南宋江山不得不用岳飞掌军。他拒绝了张浚收岳飞兵柄的建议，封还了岳飞的辞职奏札，不准岳飞“求闲自便”。
高宗封还了岳飞的奏疏后，在庐山上的岳飞仍然不愿意返回鄂州军营，又给高宗上了第二道奏疏，奏疏中不再提及与张浚议论不合，只提继续为母亲服丧。高宗又封还了岳飞的奏疏，另外写了一道御札给岳飞，一方面感叹岳飞的孝心，另一方面表彰岳飞一向忠君爱国的行为，希望他率领岳家军前往两淮，防范伪齐军队的侵犯。
岳飞接到第二封御札后，还是不愿如高宗所安排的前去商讨战事，又给高宗写了第三道奏疏，竭力辩白自己一向的志向是收复东京，除此之外，没有任何野心和私利。
高宗第三次封还了岳飞的奏疏，又写了一道御札给岳飞，一方面肯定其奏疏中的辩白，另一方面再次督促他前去见张浚，最后特别写明让岳飞不要再上奏。话已至此，已经让岳飞无话可说，无路可退。
随后，高宗命令鄂州宣抚使司的参议官李若虚和统制王贵，火速到庐山督促岳飞赶快回到鄂州军营。否则，李若虚和王贵将被军法处置。
李若虚和王贵二人昼夜兼程，来到庐山东林寺。见岳飞后，再三苦劝，但岳飞仍不肯出山。
见此情景，李若虚指着鼻子骂岳飞：“你这样一而再、再而三不听朝廷的指示，无论对你、对你的家庭、对岳家军、对国家，都绝对不是好事，朝廷一定会产生你到底想干什么的疑问。况且你原来就是河北一个农夫，熬到现在这个份儿上，真是天大的造化，你应该珍惜这份荣誉。况且你再不出来，我们两个将被军法从事，你难道眼睁睁地看着我们被军法从事吗?”
岳飞被迫无奈，只得回朝向高宗谢罪。高宗不阴不阳地说:“朕不怒卿。如果发怒，太祖皇帝所谓唯有宝剑!”
岳飞和高宗之间的矛盾，就是从这一年开始逐渐加深的。