岳飞饱读兵书，娴熟武艺，早就盼着有一天能够投身疆场，杀敌报国。在靖康之变发生的前几年，金已经严重威胁着宋的安全，而岳飞家乡也面临金兵的直接威胁。那个时候，投军报国是每一个热血青年的选择。所以，当真定府路安抚使招募敢死队时，他就报名参加。由于岳飞个人素质出众，不久就被任命为一个管10个人的小队长。这个职务大概相当于现代军队里的班长。
在当小队长期间，岳飞立了一功，那就是抓住了当地的黑帮头子陶俊、贾进和。不过，这段军事生涯并没有持续多久，因为岳飞的父亲岳和死了。按照封建时代的规矩，父母死，要按丁忧规定回家守孝三年，这是非常重要的人伦，如果不遵守会有大的麻烦，何况岳飞本来就是个大孝子。所以在得到父亲去世的消息后，岳飞立即回家守孝。
守孝期满，岳飞继续投军，这回是到了名将韩琦手下，但是没当上正规军，而是做韩家的庄客，也就是做看家护院的事。在这期间，岳飞也曾经在农民军来犯的时候显示了一下他的神箭，一箭射杀了对方首领。
韩琦是一代名将，岳飞更是中国历史上军神一类的人，但两位军事家的相遇并没有擦出什么火花，也许是岳飞当时还很年轻，两人的年龄、地位差距太大。总之，两位名将失之交臂。
岳飞当然不甘心一辈子给人家看家护院，看看在韩琦这里没有机会，不久改投驻扎在山西平定的宋军地方部队，大概是混了个连长之类的小军官。虽然混上一个小军官，但岳飞还是感到郁郁不得志。因为宋朝军队分禁军和厢军，禁军是中央直属部队，厢军是地方部队。岳飞参加的是厢军，装备差，士兵大多是老弱病残，就是参加战斗也很少打胜仗，所以个人发展的空间很小。
靖康元年12月初，宋徽宗的九儿子康王赵构在河北相州建立大元帅府，自己担任“天下兵马大元帅”，下令招募义勇民兵。相州许多穷苦百姓为了保卫乡土，纷纷从军。岳飞也经人介绍，参加了赵构统率的军队，并且当上了一名小军官。
一次， 岳飞带领100名骑兵在滑州练习冰上骑射。
天气很冷，黄河上结起厚厚的冰。金军大队人马从冰上飞驰而来，岳飞见敌我悬殊，沉着地对部下说：“敌人人数虽多，但他们不知我们究竟有多少人，我们乘他们立足未稳给他们一个迎头痛击。”于是岳飞一个人冲进敌阵，一下子杀死一名挥舞大刀的金军将领。岳飞手下的骑兵也乘机冲杀，杀了不少金兵。岳飞因为这一次的功劳被提拔为秉义郎，大概相当于正规军的连长。
岳飞的突出表现，引起了所在部队的最高领导汴京留守宗泽的注意。宗泽对岳飞说：“你在打仗方面的天赋，不比古代的名将差。但用野路子打仗，终究不能算上乘。”于是宗泽把打仗的阵图传授给岳飞。虽然面对自己的长官，岳飞也不盲从，说：“摆好了阵再打，只是平常的打法。真正精妙的战法主要靠自己根据战场情况灵机一动。”宗泽觉得岳飞说得有理。
岳飞跟着赵构征战了一年多，没想到宋朝居然灭亡了。金人俘虏了除康王赵构以外的所有皇子，幸存的赵构于1127年在南京称帝，建立了南宋政权。赵构也就是高宗皇帝。
这个时候，岳飞以一个下级军官的身份上书赵构，慷慨陈词要求夺回中原，驱赶奸臣。这一下搞得宋高宗赵构很恼火。结果岳飞在部队中的职务被一捋到底，连军籍都没保住，被赶回了老家。
类似的上书岳飞在他的一生中还会有好多次，所说的内容或者是驱除朝中奸臣，或者是恢复中原，他从来不管高宗喜欢听什么，也不管高宗忌讳什么，岳飞的这种举动在他自己看来是精忠报国，而宋高宗的看法是岳飞这个人政治上不成熟。
多年的军旅生涯已经使岳飞习惯于部队生活，所以还得去投军。这一次，岳飞投靠了河北招讨使张所。张所也是一位抗金名将，在一次长谈中了解了岳飞的过人军事才华，于是把岳飞安排到八字军首领王彦手下。当时北方受到金人的侵略，有很多流离失所的难民，王彦招募身强力壮的流民组成了这样一支武装。
岳飞文武双全，又有在正规军里当军官的履历，在八字军里当上了一名统制。王彦的部队战斗力不强，基本上不打胜仗，只有岳飞带领的部队常打胜仗。所以岳飞逐渐自成一支，经常独立行动，不太听王彦的指挥，王彦很恼火，差点以军法处置他。后来岳飞因为缺乏军粮，去向王彦请罪，但是王彦不愿意见他，也不杀他，而是把他开除了。
这个时候宋军已经乱套了，将领们带着队伍各自为战，于是岳飞投奔了宗泽。宗泽本来是岳飞的老领导，很喜欢这位热血沸腾的年轻人，没有治他脱离主将擅自行动的罪，而是留在帐前听用，让他戴罪立功。
岳飞在宗泽的部队里，率领四、五百人的小股队伍，连续取得了黑龙潭、汜水关、竹芦渡等战役的胜利。宗泽提拔岳飞做了统制，那可是正规军的中级军官，相当于现在的团、旅长，能够独立地带领一个作战单位。这个职务对岳飞今后的发展很重要，从那以后，岳飞开始进入高宗的视线之内。