淝水之战使得谢氏的名誉达到了顶点，东晋孝武帝开始逐渐不信任谢氏，他先后解除谢安的宰相职务，以及谢玄的兵权。孝武帝任命自己的兄弟司马道子为相，总理朝政，同时任命自己的妻兄王恭统帅北府军。此后王恭与司马道子发生矛盾，北府军成为朝廷内部火并的工具。之后北府军司马刘牢之在得到司马道子的许诺后，将王恭杀死，成为北府军的新统帅。
399年，孙恩、卢循发动农民起义，起义军迅速占领江东八郡。东晋朝廷见起义军声势浩大，急忙派刘牢之率北府兵前往镇压，孙恩战败后自杀。在对付孙恩的起义军中，一位将领脱颖而出，此人就是后来的宋武帝刘裕。
402年，东晋朝廷的执政者司马元显决定讨伐准备拥兵叛乱的桓玄，派出刘牢之为前锋都督，率北府军征讨。刘牢之也是位军事天才，政治上的弱智，他接受桓玄的许诺，选择背叛朝廷。最终桓玄北齐诺言，大肆杀戮北府军将领，军队责备桓玄瓜分，刘牢之被迫自杀。
404年，北府军将领刘裕在京口举兵，反抗桓玄，重建北府军。北府军在刘裕的统帅下，再次大显声威。灭南燕、平后秦，却月阵大破北魏骑兵，如果不是刘裕选择返回江南，甚至大有重整天下之势。刘裕死后，北府军依然是刘宋王朝抵御北魏的重要军事力量。436年，北府军最后一员名将檀道济被杀，至此这只由流民组成的精锐军事力量才正式落下帷幕。