赵构对岳飞越来越倚重，怎肯由他退隐？断然拒绝。他的回答是：岳爱卿肩负上游军备，责任重大，正应该激励忠愤之心，一雪国家大耻，帮助我建成大功，不许退休！岳飞勉为其难，只好收回了申请。因为没能解除兵权，绍兴十一年宋金议和，赵构为了解除一切可能会形成对自己皇权的威胁，残杀了岳飞。议和成功后，赵构亲率文武百官在临平镇奉迎从金国归来的母亲韦氏及赵佶的棺椁。韩世忠也随驾而行。韦氏见了韩世忠，惊奇地说：“你就是韩将军吗？我在北方久闻你大名了!”
韩世忠“尝中毒矢入骨，以强弩括取之，十指仅全四，不能动，刀痕箭瘢如刻画。”韦氏见了，唏嘘不已，慰劳再三。韩世忠答道：“吾以布衣百战，致位王公，赖天之灵，保首领得以保全，已无憾事了。”韦氏然后又扭头见：“怎么没见到大小眼将军（指岳飞）？”一句话，在场的人无言以对。经过了好一阵尴尬，才有人悄悄地告诉她说：“岳飞已经赐死了！”