常遇春是真正习武出身，“貌奇伟，勇力绝人，猿臂善射”(《明史·常遇春传》)，只因家贫生计艰难，加之社会动荡，盗贼出没，逼迫常遇春投靠绿林大盗刘聚。
刘聚拦路抢掠，入宅为盗，常遇春虽能吃肉喝酒，但这不是他想要的。他得另谋出路。
至正十五年(1355年)四月，常遇春遇上朱元璋率军攻打和阳，见其视士卒如弟兄、部队不害百姓，决定投奔朱元璋。
常遇春自请为前锋，力战克敌，自言能将十万众，横行天下，军中称常十万。当初，朱元璋还是以为是一个食客，几仗下来，常遇春用实力说话，而且很仗义，让朱元璋“益爱重遇春”。
常遇春是一个天生的先锋大将，与元帅徐达相得益彰，各显身手。“是时称名将，必推达、遇春。两人才勇相类，皆太祖所倚重。遇春剽疾敢深入。”(《明史·徐达传》)
常遇春“虽不习书史，用兵辄与古合”。至正十九年七月，常遇春进兵攻衢州，一路杀将而来。衢州城垣，壁垒森严，固若金汤。常遇春率部从陆上、水上将六座城门团团围住，又造吕公车、仙人桥、长木梯、懒龙爪等攻城军械，“拥至城下，高与云齐，欲阶以登城”，又在大西门城下“穴地道攻之”。守城元将伯颜不花的斤凭借坚固的城垣，“以束苇灌油烧吕公车，驾千斤秤钩懒龙爪，用长斧砍木梯，筑夹城防穴道”，双方交战激烈，常遇春久攻不克。后来，常遇春以奇兵出其不意地突入，毁其所架之炮，攻围甚急。元军支持不住，遣使密约投降。
至正二十年五月，陈友谅率水军数十万直取应天，在龙湾登陆，常遇春奉命与冯胜率帐前五翼军三万人设伏、冲杀，陈友谅的汉军死伤惨重，溃不成军，大败而逃。此战，常遇春功劳最大，与平章邵荣、右丞徐达是朱元璋“所任将帅最著者”。
三年后，吕珍奉张士诚命，率军突袭安丰，破城，杀死红巾军大将刘福通，占据安丰。朱元璋率军攻打安丰，吕珍掘沟树栅，加固城防，水陆连营，做好作战准备，朱元璋“左右军皆败”，而常遇春横向冲击吴军方阵，“三战三破之，俘获士马无算”。
陈友谅以号称六十万大军倾巢来攻，在鄱阳湖与朱元璋军血拼。常遇春奋勇当先，射伤陈友谅的骁将张定边;又组织火攻，发挥小船优势，把陈友谅的舰队被烧得烈焰冲天，兵将损失过半，彻底覆灭陈友谅。
后来常遇春为副将军，与徐达对张士诚作战，顺利制胜。平吴归来，常遇春进中书平章军国重事，封鄂国公。随后，徐、常二人奉命帅军北征，屡建奇功。元军五万摆阵在洛水之北，常遇春单骑突入敌阵，麾下壮士从之，勇猛冲杀，在洛水之北击溃元军，俘获无算，“降梁王阿鲁温”，史称塔儿湾大捷。
常遇春北征前，朱元璋嘱咐：“当百万众，摧锋陷坚，莫如副将军。不虑不能战，虑轻战耳。身为大将，顾好与小校角，甚非所望也。”
洪武元年闰七月，徐达、常遇春率马步舟师由临清沿运河北上，连下德州、通州。元顺帝携后妃、太子等逃奔上都开平。八月二日，徐达、常遇春一举攻占大都，改为北平府。稍事休整，即又挥师西进，与精锐的扩廓帖木儿军进行了艰苦的搏战，平定山西、陕西。
元顺帝乘明军主力长驱晋、秦之机，命丞相也速率军向北平反扑，兵锋已抵通州。常遇春与李文忠率步卒八万、骑士一万驰救北平，元军闻讯即向北逃奔，常遇春率军追奔千里，大获全胜。
为了覆其巢穴，最终解除元军对北平的威胁，常遇春又率军径取元上都开平，俘获以宗王庆生和平章鼎住为首的万名留守元军，缴获车万辆、马三千匹、牛五万头。后来，朱元璋追封常遇春为开平王，意义在此。
清初史学家万斯同的《明史稿》中说：“遇春沉鸷果敢，出则摧锋，入则殿后，未尝败北。”后来，大学士张廷玉总裁的《明史·常遇春传》也说：“遇春沉鸷果敢，善抚士卒，摧锋陷阵，未尝败北。”
洪武二年七月七日，常遇春自开平班师南归，行至柳河川，得暴病卒于军中，年仅四十岁。朱元璋“闻之，大震悼，亲出奠”，以亲王发哀礼，赐葬钟山之下。
朱元璋追封常遇春为翊运推诚宣德靖远功臣、开府仪同三司、上柱国、太保、中书右丞相，追封开平王，谥曰忠武。“配享太庙，肖像功臣庙，位皆第二。”朱元璋令宫廷画师为常遇春绘制身穿龙袍的全身像，五爪金龙，此袍只能是帝王专用。
此等殊荣该是当时顶级待遇，独一无二。《明史》赞曰：“开平摧锋陷阵，所向必克，其智勇不在中山下，而公忠谦逊，善持其功名，永为元勋之冠。身衣日月剖符锡土若王者，可谓极盛矣!”
洪武三年，朱元璋大封功臣，常遇春长子常茂因父荫，受封郑国公，与李善长、徐达、李文忠、冯胜、邓愈同为开国六大国公，位列第三。洪武四年，朱元璋诏令皇太子朱标与常遇春长女常氏成婚，常氏被封为太子妃，更显朱元璋对常遇春的怀念和对其家眷的厚待。