尽管宋高宗也迫切希望收复失地，但在此过程中一些只可意会、不可言传的隐忧却让他耿耿不寐，徘徊不前。
一方面，北伐一旦开始，必是集全国人力、物力、财力、军力孤注一掷，胜算多少，他心中没底;另一方面，南宋草创，根基未稳，一些战争中壮大的武夫势力日渐抬头，各自为政，纷纷自称张家军(张俊)、刘家军(刘光世)、韩家军(韩世忠)、岳家军(岳飞)等等。
远有老祖宗赵匡胤陈桥兵变的先例，后有他亲身经历的“苗刘兵变”，他对军阀、藩镇势力不断坐大简直惧如猛虎，只要有机会，必定快速剪除。
宋高宗自登基之日起，便一直在主战与主和之间犹豫不决，这从他任命宰相的人选中，也可看出端倪。当他倾向于北伐，主战的张浚任相;一旦因情况有变而犹豫，稍稍保守的赵鼎任相;如果他倾向于向金求和，主和的秦桧就出任宰相。所以，张浚的去留与升降，是与宋高宗的政策指向密切相关的。
最终推动宋高宗彻底主和这一“多米诺骨牌效应”的第一张骨牌，就是发生在绍兴七年(1137年)的“淮西兵变”。
在与伪齐对垒的过程中，由于兵骄日盛，张浚便与宋高宗商量整编军队，以免尾大不掉。在宋高宗的安排下，这年三月，张浚解去了刘光世的淮西军军权，将淮西军收为自己的都督府，以都督府参谋、兵部尚书吕祉去节制和统率。
同时，以刘光世的部将王德为都统制，郦琼为副都统制。郦琼出身流寇，与王德积隙很深，而吕祉又是一介书生，难以服众，这种安排为兵变埋下了伏笔。不久，张浚意识到这样安排欠妥，打算召回郦琼，夺其兵权，谁知消息走漏，被郦琼得知。郦琼于当年八月发动兵变，杀死吕祉，迫使4万多淮西军投降当时还未被金废除的刘豫，史称“淮西兵变”。
兵变消息传来，举国震惊，张浚一时成为众矢之的，随即被罢相，以秘书少监分司西京。当时，南宋总兵力才20余万，“淮西兵变”使南宋失去了一支关键力量，敌长我消，北伐更加难以提上议事日程了。
绍兴十一年(1141年)，宋高宗解除了韩世忠、岳飞等将领的兵权，制造了岳飞冤狱，取得了与金和谈的资格，随后杀掉岳飞，正式与金签订“绍兴和议”。在满足了金国杀害抗金英雄、向金称臣、割地、赔款等诸多屈辱条件之后，南宋得到了所谓的“和平”。自此，宋高宗任用秦桧为独相近20年，一直执行屈辱的乞和政策。“绍兴和议”之后，张浚一步一步逐渐成了宋高宗的“眼中钉”。宋高宗把他谪贬到湖南、广东等地，前后放逐达20余年。