陕西人姚岳在靖康之变(1127年)后逃离关中地区，并在南宋考中进士，在一次与岳飞偶遇后，岳飞觉得自己母亲姓姚、父亲姓岳，而此人则名为姚岳，实在有缘，于是便留姚岳在军中为参谋效力，对他十分关爱亲信。
没想到姚岳在岳飞死后，却向秦桧递上“投名状”说，自己要与岳飞彻底划清界限，为此他还廉不知耻地向秦桧建议说，岳州(今岳阳)“以叛臣故地，又与其同姓”，因此建议南宋朝廷将岳州改名，在姚岳的一再上书下，宋高宗竟然颁发诏书，将岳州改为纯州，而岳州的驻军岳阳军则改名华容军。
与自己的老长官划清界限后，姚岳此后开始官运亨通，一直到宋孝宗时，他所任职的淮南路出现蝗灾，治蝗不力的姚岳甚至无耻上书说，蝗虫慑于朝廷的威严，全部抱着草木自己死了，由于治蝗无能加上言论荒谬，最终姚岳才被贬黜去职。
而岳家军中，背叛岳飞的并不仅仅姚岳一人。
作为岳飞的手下大将、岳家军前军副统制王俊，就是害死岳飞的帮凶之一。在宋高宗授意秦桧罗织冤狱后，或许是为了迎合上意谋求升职，王俊在岳飞被收押后，随即跳出来，诬指他受岳飞和岳云的指使，准备进行谋反。或许是察觉到制造冤狱的人来自最.高指示，岳飞的部将王贵、姚政、庞荣、傅选等也纷纷在王俊的诬告信上签字画押，并信口雌黄地将岳飞兵临开封、却被十二道金牌悲愤召回的事实，污蔑为坐拥重兵却逗留不进，并诬称岳飞有意让部将张宪据守襄阳、伺机谋反。
在来自最高权力的震慑下，岳家军内部分化了：此后，岳飞的忠诚部将牛皋暴死，有人传闻是被毒死;部将王贵在做完帮凶后，随后被革去兵权，另被授予了侍卫亲军步军副都指挥使的虚衔，离军赋闲。
为了达到分化瓦解岳家军的目的，宋高宗随后又下令将岳飞的幕僚僚孙革、黄纵、于鹏等人全部发配编管，此后，岳家军中的精锐部队背嵬军或被编入禁军，或被裁减、撤并，最终，在南宋之初让金人闻风丧胆的岳家军，最终在宋高宗和秦桧等人的分化瓦解下，逐渐消失无形。
对于宋高宗畏金如虎，为了议和甚至不惜迫害抗金主将岳飞的做法，另外一位号称南宋中兴四将(岳飞、韩世忠、刘锜、张俊)之一的大将张俊，在敏感意识到宋高宗的本意是要剥夺各位武将的兵权后，先是主动上书请求上交兵权，随后，当看到宋高宗和秦桧有意处死岳飞后，张俊又主动追随最高指示，追随秦桧制造伪证，诬称岳飞要谋反，最终将岳飞逼入死地。
在张俊看来，在崇文抑武的两宋风气中，作为武将群体的他们只有明哲保身才能谋得退路，而北宋时期名将狄青忧愤而死的下场，是所有武将们铭刻在心的求生教训，但尽管如此，从明哲保身到进一步的助纣为虐，张俊最终以令人不齿的作为，获得了宋高宗的信任。
此后，除了参与诬陷岳飞的张俊继续得到重用外，另外位列南宋中兴四大名将的韩世忠、刘锜也相继被罢去兵权。
在岳飞被害前，当时已经被革去兵权的韩世忠挺身而出，当面质问岳飞有何罪，对此秦桧回答说“莫须有”，韩世忠愤怒地说：“莫须有三字何以服天下?”
秦桧对韩世忠恨之入骨，但由于韩世忠曾经在苗刘兵变(1129年)中奋不顾身营救过宋高宗，因此得保平安，此后，韩世忠奏请告老退休，并闭门谢客，口不言兵，临死前几年，他时常骑驴携酒，带一两名仆人游览西湖，即使是昔日的部下，他也经常故意推托不见，以免被猜疑见忌。