今日之兵，分隶张俊者则曰‘张家军’，分隶岳飞者则曰‘岳家军’，分隶杨沂中者则曰‘杨家军’，分隶韩世忠者则曰‘韩家军’。——《三朝北盟会编》南宋史家徐梦莘撰。
南宋其他史籍也偶见记载，《云麓漫钞》称：“人自为法，时有‘岳家军’、‘张家军’之语。”，“会诸将稍姿肆，各以其姓为军号，曰‘韩家军’、‘岳家军’。
此外，南宋“部曲”在某种程度上也被用于指称“家军”，如《要录》谓“惜乎朝廷以光世部曲，付之吕祉。”“光世部曲”必然是刘光世所统领的“刘家军”。而“镇江大军，韩氏部曲也;健康大军，张氏部曲也;鄂州大军，岳氏部曲也。”显然所谓的“部曲”乃是其统辖的各“家军”。
“家军”的形成并非一朝一夕，借北宋末年的战乱而萌发，建炎、绍兴时期发展至鼎盛时期，绍兴十一年收兵权之后，“家军”及其运作体系才趋于崩溃，在“家军”的形成演变过程中，诸“家军”虽然有军事力量的消减，镇戍辖区的调整，但也呈现出一些相似的特征，通过分析这些特征，或可对“家军”崛起的路径有一整体关照。
军事性是“家军”发展与形成中最主要的特征。
由于南宋初期社会的战争状态，统治者不得不大力扶植“家军”的发展，与此同时，各“家军”在发展壮大的过程中，相互侵夺，彼此招纳，所谓“相视如仇雠，相防如盗贼。”这种的情况，既削弱了诸军的战力，也制约着南宋国家战略的制定与实施。
诸“家军”在发展壮大的过程中，与北宋时期的“家将”相类似，具有比较明显的地域性特征。诸“家军”长期活跃于某一区域，不仅拥有可靠的经济物质基础，而且熟悉当地的社会文化与战略格局。
“要之谓韩家军者，今为京口人矣。刘家军者，今为建康池阳人矣。岳家军者，今为鄂渚江陵人矣。”
造成这种局面的原因固然多样，但政治经济上的因素无疑是最为主要的。从诸军对营田的开展与控御地方财赋的积极性与主动性来看，这种政治经济因素发挥的作用最为显著。
“家军”对于时局来讲是好事，但对于赵宋来讲隐患太大。
诸“家军”开展营田始于绍兴初，营田的动因是为解决庞大的军费开支给朝廷带来的负担，准许诸“家军”开展，实是中央不得已之举。
绍兴元年，解潜为荆南镇抚使，在缉捕盗寇，稳定境内治安的同时，积极发展营田以充军需，“以所管五州绝户及官田年来荒废者甚多，乃以便宜辟直秘閤宗纲为屯田使，召人使耕，分收子利。”上报朝廷之后，高宗下诏以宗纲为“镇抚司营田官”，有效的的解决了荆州辖区的军资需求，减轻财政负担，谓“其后荆州军食，多仰给于营田，省县官之半焉。”
在此基础上，朝廷看到营田带来的好处，便扩大营田范围。绍兴六年，“命五大将及江、淮、荆、襄、利路帅臣悉领营田使。”准许五大将开展营田以实军资，这便在政策上为诸军自擅财用，拥兵自重提供了便利。
实际上，诸“家军”为了解决庞大的军费开支，早已产生了营田、屯田以及其他的营利性活动。其实，毋宁“岳家军”，南宋时期的其他诸“家军”也多有渠道获得收入，且收入来源呈现出多样化的形态。绍兴十一年，秦桧已经开始罗织岳飞罪名，对岳飞与“岳家军”的违法行为与违规活动进行检举揭发，其中不乏夸大不实之辞，但颇能表明“岳家军”的物资来源并不单一。
《要录》载：“岳飞顷于鄂渚置酒库，日售数百缗。襄阳置通货场，利复不赀。”
这极有可能是湖北转运判官汪叔詹的构陷之词，但置办酒库的情形其他各“家军”也存在，不独“岳家军”。鲍琚曾奏“岳家军”中物资来源及积储时说，“岳飞军中利源，鄂州并公使、激赏、备边、回易十四库，岁收利息钱一百十六万五千余缗;鄂州关引、典库房钱、营田杂收钱、襄阳府酒库房钱、博易场，共收钱四十一万五千余缗;营田稻谷十八万余石。”数量颇为庞大。
最后，尤为重要的是“家军”打破了北宋长期遵守的武将不置亲军的制度规范。南宋诸“家军”的统领多置亲军以为个人亲随护卫部队。
杨业“杨无敌”本是北汉降将，他在新朝虽然可以凭借军功而获得殊荣，但“降将”的政治背景严重制约着他在政治上的地位。在军事上，亲随护卫部队更是与他无缘。杨业之死的深层原因固然是北宋的政治社会局势使然，即文武关系失衡的恶果。但从外因来看，没有牙将亲随护卫的“杨无敌”，即便武艺如何高强，也能被辽军轻易俘虏的俘获。
北宋立国政策中对武将的防范与控制，使得武将(即便是高级将领)不能招纳亲随护卫。南宋时期，诸将多有亲军，虽然名号不一，但均挑选军中精锐组成，有固定的人员配置，承担保护武将本人的安全之外，有时也会参加军事任务。
《云麓漫钞》中：“韩世忠、岳飞军中，别置亲随军，谓之背嵬，勇健无比。”
其实李显忠、刘光世、吴玠、吴璘手下均有“背嵬军”的设置，而以韩世忠创设最早。可见，“背嵬军”只是一种指称，用以代指那些由骁勇善战的精锐所组成的勇武部队，并非韩、岳二人所独有。刘光世有“部落军”，而张俊设“银枪亲兵”，都是南宋时期诸将置“亲军”的事实，非常明显，北宋武将拥有“亲兵”都是极为不易的事，但南宋时期，武将已经不满足于“亲兵”的配置，“亲军”的标准似乎更能让他们安心。
这也表明武将的思维体系与权力结构发生了变化，但同时也为日后岳飞的被害留下隐患。
总之
南宋时代武力的组织形式与武将成员的结构体系，在很大程度上脱胎于北宋晚期的军政体制。因为北宋末年，当时的军政制度还是“两司体制”，“靖康”的发生虽然有很多原因，但军政体制的弊病也有不可推卸的责任，所以说，南宋的军事制度与武力是在北宋已经崩溃的军事制度中，通过对旧制一系列的调整与重建而确立起来的。而新建军事统领体制是符合南宋立国之初的利益，但是随着隐患不断加强，最终“家军”以岳飞身死而慢慢退出历史。