19世纪中叶，由于阶级矛盾和民族矛盾的日益加深，全国各族人民的起义此伏彼起，风起云涌。洪秀全、杨秀清领导的太平天国起义更是声势浩大，所向披靡，起事仅两年就席卷南中国，并定都天京，建立了政权。清政府处于风雨飘摇之中。而清朝的经制兵——八旗和绿营早已因腐败而不孚战阵。在这种形势下，咸丰皇帝谕令数十名团练大臣于各省举办团练，以剿灭太平军，维持其统治。丁母忧在家的曾国藩即刻行动，开始组建军队。
当时的清朝武装力量，分为“兵”，“勇”，“丁”三类，“兵”即经制兵，“勇”为临时招募、不隶正式兵籍却为政府驱用的武装，“丁”则是地方士绅自办的团丁及其所豢养的家丁。曾国藩的建军思路就是将民间武装团练由“丁”上升为“勇”，进而取代“兵”。他以湖南湘乡豪绅组织的2000团练为基础，在湖南全省各地团练中招募、选调，统一编制，逐步扩大编练成一支高于团练，又区别于八旗、绿营的独具特色的新军，名之为湘军。湘军很快便成为清廷赖以同太平军作战的主力，并在实战中愈战愈大，愈战愈强，并最终攻克天京。湘军之所以能取得如此“战绩”，是与曾国藩苦心孤诣的经营分不开的。
第一是确立了忠君勤王，捍卫封建礼教的建军宗旨。太平天国在起义之初一度贬斥孔孟儒学，并曾提出过朴素的平等和平均主义的主张，这些为大多数靠封建剥削过活的地主豪绅，尤其是以读书人仕为人生追求的地主阶级知识分子所反对。曾国藩抓住这一点，从封建礼教出发，对太平军大加挞伐。建军之初，曾国藩就发布了一篇名为《奉天讨粤匪檄》的文章，攻击太平军的政治宗旨和宗教纲领，说太平军独尊上帝，主张政治平等、经济平均以及反对孔孟儒学，是彻底破坏了中国数千年来奉行的“礼义人伦诗书典则”，是开天辟地以来的“名教之奇变”，自称镇压太平军就是为了捍卫性命所系的封建礼教和文化，所谓“赫然奋怒以卫吾道”。这一宗旨不但使清廷甚感宽慰，也对天下读书人产生了很大影响，还迎合了一部分守旧人士的心理。在太平天国不代表新的生产力，而又反对封建礼教的情况下，此宗旨使曾国藩和湘军得到了地主阶级特别是知识分子更多的支持。
第二是建立了一套新的编制体制。湘军起兵之初以营为作战单位，其下设哨、队(相当于当时西方国家的连、班);其上设统领，统领在作战时根据需要节制数营，各统领再受曾国藩指挥。后湘军总兵力增至10万以上，曾国藩又在统领与营官之间增设分统一职，可统带数营之勇;在统领之上增设统帅数人，如左宗棠、胡林翼等，各统兵数万，独挡一个大的战略方向，再统一服从自己的指挥。这种指挥系统完整而严密，为清朝军队建设上的一大进步。
第三是在官兵拣选标准上，以所谓“有血性”、“明义理”的儒生为基层军官，招募“朴实而少心窍”的农夫山民为士兵。按《湘军水陆战记》所说就是“以召募易行伍，儒生领山农”。“儒生”们差不多都是屡试不第的乡间读书人，既求官心切又未沾染多少腐败习气，而又具备相当的文化知识水平，是符合曾国藩建军宗旨的不二人才群体。在拣选将领时，强调“德才”兼备，而以“德”为首，“德”的内涵主要是对封建皇帝的“忠”和对湘军大帅的绝对服从。湘军建军时以营为基本单位，各营官都由曾国藩从其门生、同乡、亲朋中选用，互不隶属，只绝对服从他一人。这就从制度上和感情上保证了他对湘军的控制，从而克服了绿营兵指挥调度不灵的弊端。