清咸丰十年(1860年)，太平军攻占苏州、无锡，威胁上海。上海地方官苏松太兵备道吴煦在富商杨坊支持下，于6月间招募了一支以西方人为核心的小部队，由29岁的美国船员华尔(Frederick Townsend Ward)担任队长，这支队伍共有100多人，称为“洋枪队”。华尔带领洋枪队多次在上海郊外与太平军交战，虽然屡屡失利，但屡败屡战，曾夺回了被太平军占领的松江县城。
战斗中，洋枪队形成西方人担任军官，中国人担任士兵的模式，逐步扩充到2000余人。同治元年(1862年)2月，洋枪队得到清政府正式认可，授予“常胜军”番号，由吴煦任督带，杨坊和华尔任管带，并授予华尔清军参将的头衔，实际负责指挥。半年后，华尔率军救援浙江宁波，在慈溪与太平军战斗中负重伤身亡。
继任的“常胜军”管带是华尔的副手，26岁的美国人白齐文(Henry Andres Burgevine)，他同样是一个缺少军事教育的年轻人，脾气比华尔更暴躁。接任仅几个月，白齐文就因军饷没有及时拨发，带队抢走了杨坊库存的4万多银元，还把杨坊打伤，遭到增援上海的淮军统帅、江苏巡抚李鸿章撤职。白齐文申诉无果后，转身投奔了对手太平军，为慕王谭绍光训练军队。两个月后，白齐文回到上海租界，旋即被美国领事押送到日本。同治三年(1864年)，白齐文偷渡到福建，想要投奔漳州的太平军，结果在厦门被清军逮捕，押送到苏州途中溺水身亡。
“常胜军”的最后一任管带，是30岁的英国人戈登(Charles George Gordon)，在同治二年(1863年)3月接任。与前任不同，戈登是科班出身的工兵军官，参加过克里米亚战争、第二次鸦片战争。戈登在接任之后，一方面扩充“常胜军”规模，另一方面加强训练、严肃军纪，使“常胜军”从上海守备队转而成为能和淮军联手发动进攻的劲旅，在与太平军争夺苏南各县镇的战斗中发挥了重要作用。同年12月，戈登因李鸿章下令杀死了在苏州投降的八名太平军将领，愤而与其决裂。次年5月，“常胜军”在攻占常州之后调回昆山解散，戈登也以清军提督的头衔回到英军。此后，他在多个英国殖民地任职，并晋升为陆军少将。
1885年1月，戈登作为苏丹总督，在马赫迪起义军的攻击下战死于喀士穆，终年52岁。