说起“岳家军”，不能不提《满江红》里的那句今人耳熟能详的“靖康耻，犹未雪，臣子恨，何时灭!” 靖康二年(1127年)闰十一月的“靖康之变”导致了北宋政权的灭亡，也让宋太祖赵匡胤苦心孤诣建立的那套军权高度集中于皇帝本人的军制土崩瓦解。原先由朝廷直接掌握全国最有战斗力的部队(禁军)，“将不得专其兵”的局面随着数十万禁军在金军二次南侵的战争中非亡即溃，基本消失殆尽而不复存在。经历了东京(开封)失守、徽钦“北狩”的国难之后，赵构在江南重建的宋政权，虽然名义上叫做“中兴”，实际却跟“草创”无甚差别：金人铁骑的南下追击迫使这位康王“泥马渡江”，甚至一度落到流亡海上的地步;宋廷中央却“根本谈不上有什么正规军队，抵抗女真人的重担在很大程度上需依靠那些靠扩张私人军队并吸收流寇渐成规模的将军们”。
挨到建炎三年(1129年)，南宋统治机构总算初具规模，终于将分驻抗金前线各军事要地的野战主力部队统一番号为“御前五军”，第二年改为“神武五军”;到了绍兴五年(1135年)，因“神武”乃是当年北齐军号，又改成了“行营护军”。尽管名义上已经被中央收编，但时人依然习惯以大将的名号称呼所部军队，譬如张俊的军队叫“张家军”，韩世忠的手下，则曰“韩家军”，兵将间的私人隶属味道很浓。
这在北宋时代是完全不可想象的谋逆行为，就连杨老令公如此威名盖世，却也是个可怜的光杆司令，手里连一支骨干部队都没有，只是在征战之际，才有份指挥由来自各支不相统属的禁军临时拼凑的部队。
南宋初年的统兵将领，不光长期手握重兵，权力也更大 ，辖区以内可以先斩后奏，便宜行事;上马管兵，下马管民，军权财权都尽在掌握，基本上就是辖区内的土皇帝。这在满脑子宋太祖“杯酒释兵权”的文官集团看来简直就是晚唐五代藩镇割据的历史重演，有人(不是秦桧)就向宋高宗上书进言，各路大军只知道有自己的统帅，人人都是各为其主，还有谁晓得有皇帝陛下呢?这些文官只记得北宋初年收藩镇之权是让“天下无事百有五十年”的良法，却没有看到这“百有五十年”间宋军外战的不振，更忘记了靖康之耻实际上就是北宋兵制“四方帅守事力单寡，束手而莫知所出”这一弊端的大暴露，而其结果就是整个北中国的沦陷!
在金人强兵压境的局面下，南宋当局向统兵将领放权也算是与时俱进的举措，只有这样才可以使守将拥有更多权力，增加其守土御敌的责任感，最大限度地调动辖区内的人力、物力、财力以抵御金军--毕竟能打胜仗才是硬道理，“政治正确”只能暂时摆到一边。于是，北宋只能有“杨家将”，而南宋却出现了“岳家军”。
岳家军的起源，还要追溯到建炎年间的东京留守司部队。金军灭亡北宋后暂时北归，一向主张抗金的宗泽出任东京留守，收编了大量溃兵和义军，并且积极联系河北的抗金武装，一时间军威很盛，号称百万。投军的岳飞在宗泽麾下，从基层做起，凭借军功一步步晋升至将领。然而在宗泽1128年三呼“过河”而去世之后，继任者杜充御下无能，义兵闻风解体。几天之内人心就散了，将士去者十五，两河豪杰皆不为用，以致时人有宗泽在则“盗可使为兵”，换成杜充就变成“兵皆为盗”之叹。
后来杜充退至江南时尚且拥兵十万，面对金军南下时却轻易投降，致使这支昔日威震中原的东京留守司部队彻底瓦解。只有岳飞的队伍成为仅存的硕果，在大军溃散之余，时任江淮宣抚司右军统制的岳飞率部移屯宜兴，相继击败并收编了盘踞当地的几支军贼土匪队伍。
从此独自成军，揭开了“岳家军”的传奇篇章。