此时清军面对太平军已经没哟多少优势，开始节节败退，根本没有了镇压的能力。在这个时候，原先的清朝大军已经基本只是个花架子，战斗力基本为零，他们只好通过依靠地方武装力量，试图来消灭这股已经成了气候的起义军。就是在这个背景下，曾国藩回到家乡组织军队，但当时因为他一贯的廉政作风，所以在当时腐败极其严重的官场里寸步难行，就连部队的粮食问题都无法解决。
在现实的教导下，曾国藩逐渐领悟了官场的真谛，他开始变得圆滑，成了官场中的老练人物，湘军就是在他的努力下，一步步发展壮大。湘军虽然实力强进，但说起来其实还是私人军队，他们只服从于主将的命令，却不是为清政府服务。这支队伍尽管也打过败仗，但是次数不多，而且总能够化险为夷。
洪秀全部，眼看着清政府对他们束手无策，觉着天下唾手可得，于是针对于势力分配的问题上，出现了很大的争议。他们开始频繁出现内斗，主要将领之间开始互相厮杀，洪秀全的左膀右臂都被他亲自卸掉，在随后的与湘军交手时，迅速落入下风。后来另外两大军队也赶过来夹击太平军，对于军事一窍不通的洪秀全只能胡乱的指挥一气，最后使得军队处于极端被动的局面。
当1864年，湘军攻破天京城的时候，远在北京的慈禧等人，除了欣喜之外，还有对湘军的隐隐担忧，他们担心有一天曾国藩若是有二心，会对他们皇室动手，谋朝篡位。曾国藩是个聪明人，为了消除他们的这种芥蒂，他先是自裁六万湘军，然后将其中的一部分留下来驻守江南等地，其他的则返回湖南，这批人逐渐湮灭在了人海之中，部分参加了后来的南洋军。
江南的湘军在后来的四十余年里，都严格把持着江南的控制权，在当地为官的大小官员，多半都与他们之间有利益往来。只不过这些人毕竟门路少，也得不到政府的支持，发展滞后，慢慢的退下了历史舞台。而淮军逐渐做大，发展成了后来的北洋军为了让这一军事集团独大，因此专门提出了军制改革，在摄政王的支持下，南洋军的实力被迅速削弱，而那些加入其中的湘军尽皆被裁撤，曾经号称最强的湘军，从此完全沦为了历史。