皇太极决定打破民族界限，选拔汉族中的优秀人才为国效力。天聪七年七月一日，皇太极命令分隶满洲各旗所属汉人壮丁，每十名抽一丁披甲入伍，共有一千五百八十人组成一旗汉兵，由汉官马光远统领，旗帜为黑色。这是后金正式组建汉军的开始。崇德二年七月，皇太极又将一旗汉军分为左右翼两旗：以汉官石廷柱为左翼固山额真，马光远为右翼固山额真，并按照满八旗的体例编壮丁为牛录。
崇德四年六月，皇太极再将汉军两旗分为四旗，每旗设牛录十八人，固山额真一人，梅勒章京两人，甲喇章京四人。四旗共计七千人左右。崇德七年六月，皇太极将汉军四旗改为八旗，旗色、名称、官员设置与满洲八旗相同，所不同的是，汉军八旗的旗主可以由皇帝随时撤换任命，而满洲八旗旗主之位则是世袭。同年八月，孔有德、耿仲明、尚可喜上奏“以所部兵随汉军旗下行走”，皇太极欣然同意。其实皇太极早就想将三王麾下数万汉兵编入八旗，无奈在三王归附的条件中，自己亲口允诺过让他三人各将所部之兵，自成系统，怎可出尔反尔?如今大势所趋，三王主动提出编入汉军八旗，可谓正中皇太极下怀。
皇太极创建汉军八旗，可谓用心良苦：扩大兵源，以汉攻汉，只是表面现象，更深一层的用意在于：削弱满洲八旗诸王贝勒的权势，打破他们对军队的垄断，削弱他们手中的权力，从而巩固皇权。从另一个层面上理解，皇太极显然意识到了其所统治范围内满、蒙、汉之间复杂的民族关系，创建蒙古八旗和汉军八旗，从法律和制度上确立了一种联合平等的关系。这样一来，不仅标志着以满族贵族为核心的，与汉、蒙封建地主阶级联合统治的基础更加广泛了，而且为清朝二百六十多年的统治打下了牢固的根基。