朱元璋于1328年出生在今安徽凤阳的锺离大平乡孤庄村，父亲本是给地主种田的佃客，他自幼家境不好，童年时给地主放过牛，后来在家乡的寺院出家，做过四处流浪的游方僧。当元末天下大乱，烽火连天之际，他为了自保，于1352(至正十二年)年投靠了濠州的起义军，因在起义军中表现出色而深受首领郭子兴的赏识。
不久，郭子兴乾脆招了朱元璋做女婿，从此昔日的放牛娃便改头换目，成了军中有身份、有地位的「朱公子」。
郭子兴于1355年(至正十五年)死去。为了避免被别的割据势力吞併，军中大多数将领认为应该加强与白莲教的联繫，借北方红巾军的旗帜以为声援。不过，他们只承认韩林儿、刘福通为名义上的领袖，这支军队基本上凡事皆自作主张。
朱元璋已升为和州元帅，成为独当一面的将领。他在多年以后回忆起自己招兵买马、努力扩充势力的情况：「初起兵时，投靠我的士卒无论是一二十人，还是数百人，我都对他们亲如兄弟，爱如骨肉，予以恩抚，无不尽心」，最终形成了一支凝聚力比较强的军队。其后，他与同道中人一起挥师渡江，占据南京，在江南建立了地方政权。
郭子兴的儿子郭天叙与小舅子张天佑在攻打南京时双双战死，让朱元璋一下子成了军中眾望所归的带头人。这时军队中的成员比较复杂，主要分为朱元璋嫡系、郭子兴旧部与巢湖水军三个派系，其中朱元璋嫡系部队有二万多人以上，最早的骨干分子是徐达、汤和等淮西老乡，后来陆续收编了冯国用、常遇春、胡大海等人作为亲信。
郭子兴的旧部属为数不少，总共超过万人，由宿将邵肆、邵荣统率。而「拥眾万余，船千艘」的巢湖水军在渡江之前才归附，这支以廖永安、廖永忠、俞通海为首的部队为朱元璋征服水网密布的江南提供的极大的便利。随着根据地越来越大，各种徵兵的方法也层出不穷，部队的编制自然也变得更多。朱元璋为了有效地把政权与军权集于一身，不断使用排除异己、重新调整人事关系与分配权力等手段，逐渐达到了目的。
朱元璋大权在握，便从严治军，他讲究号令统一，要求不同的部队在战时应该互相配合，做到「手足相卫、羽翼相蔽」，为了严明军纪、令行禁止，他赏罚分明，对于有功者「虽憎必赏」;有罪者「虽爱必罚」。他认为两军相争，杀敌主要靠士兵，而「兵不贵多而贵精」，「多而不精，徒累行阵」。
可是精兵的重要性又比不上良将，因为「任将非人，则兵必败」，所以「两军之间决死生成败之际，有精兵不如有良将。」为此，他对将领的选拔特别重视，强调必须「因材而受职」，最好是符合「有识、有谋、有仁、有勇」的标准。由此可知，他的军队名将辈出，绝非偶然。
自从红巾军起义的十多年来，元朝的主力一直集中于长江以北打大仗、拼消耗，这就给了江南群雄各显身手之机。高瞻远瞩的朱元璋以南京为中心不断向外围扩张，他在驱逐元朝留守于各地的老弱残兵时，任用了大量元朝的旧官吏与儒士，共图大业。其中着名的有李善长、刘伯温、朱升等人。他们採用「高筑墙、广积粮、缓称王」等策略，派遣部队开荒屯田，储备粮食，发展经济以养精蓄锐，逐渐成为南方一个举足轻重的政权。
屹立于江南的朱元璋，其最危险的对手不是来自于元军，而是陈友谅与张士诚这两位起义群雄。陈友谅出身于一度在长江两岸呼风唤雨的南方红巾军，他于1360年(至正二十年)五月在江州弒杀了首领徐寿辉，自立为帝，国号「汉」。此种篡权夺位的行为难以服眾，军中将领不少纷纷离去，儘管如此，长期纵横于湖广、江西等地的陈友谅，其势力决不容小覷。
而以贩私盐为业的张士诚于1353年(至正十三年)在高邮城下险胜「百万」元军之后，向江浙沿海地区发展，打下的地盘也颇为可观，他在此期间出于养晦韬光的目的表面上接受了元朝的招安，但与蒙古贵族统治阶级仍然是同床异梦。据说上述两人在战时都可以动员「数十万」之眾，致使坐镇南京的朱元璋陷入「左右树敌」的不利状态，因为他就夹在两个对手中间—陈友谅在西边，张士诚在东边。
恰巧在此时，表面忠于元朝的军阀察罕贴木儿攻克了北方红巾军的大本营汴梁，接着乘胜追击，大举南下山东、觊觎江南，大有「投鞭断流」之势。察罕贴木儿一旦南下，首当其衝的必然是名义上听命于北方红巾军的朱元璋，而不可能是被朝廷招安的张士诚，更不可能是远在长江上游的陈友谅。
俗话说：「英雄难敌四手」，更何况朱元璋位于南京这个四战之地面对三个强敌，情况已经危险到了火烧眉毛的地步。谁知天无绝人之路，南下山东的察罕贴木儿突然被降将暗杀，此后元军内讧，在北方混战数载，无暇顾及其它。使得南方的朱元璋顿时解了燃眉之急，得以松一口气，腾出手来逐一解决陈友谅与张士诚。
这位未来的开国皇帝不但在战略上胜人一筹，而且看人的眼光很准，他正确地判断「友谅志骄，士诚器小」—「志骄」者野心勃勃，喜欢惹事生非;而「器小」者则容易安于现状，不思进取。
据此，他决定把陈友谅列为首先打击的目标，事实也是这样，当他西征陈友谅，与对手在鄱阳湖大战时，保守的张士诚果然没有出兵从东边夹击。一些歷史学家认为， 鄱阳湖大战是朱元璋一生之中经歷的最险恶的一战。此战，他亲自带领二十万水陆大军沿着长江直上，开进鄱阳湖，与倾巢而出的号称「六十万」的陈友谅所部在湖中打了个你死我活。
朱元璋的战船虽然比不上陈友谅所部可以乘载千人以上的战舰，但凭着机动灵活的特点，採取了让火器与冷兵器混合在一起轮流射击的新战术，战时，先用火铳、火炮、燃烧性火器与弓弩等远程兵器攻击对方木制战舰、尽量烧杀对方人员，再进行「接舷战」，让军中壮士舍命登上对方的战舰展开刺刀见红的白刃战，因而屡屡告捷。
鄱阳湖之战断断续续地打了三十六天，终于以朱元璋获胜而告终，此战之后整个中国没有一支舰队能够与之相媲美，无论是龟缩于浙东沿海的张士诚，还是早已衰落的元朝水师，都不敢撄其锋。
假设朱元璋首先征伐的对像是张士诚，则东征之师极有可能会遭受到野心家陈友谅的乘机夹击，后果必然不甚设想。实践证明，朱元璋制定的先徵陈友谅、后徵张士诚的战略是非常正确的。他解决了陈友谅、就轮到缩头乌龟张士诚了。在1365年(至正二十五年)打响的消灭张士诚的战争中，最出锋头的不是水师，而是陆军。由于张士诚尽量避免野战，而把兵力用于守御据点，所以，一系列的攻坚战成了最大的亮点。
朱元璋军队连陷湖州、杭州等要地，于同年十一月杀向张士诚的老巢平江(今江苏苏州)。围城的二十多万部队在城的周围挖起了互相连接的长壕，筑起了数不清的堡垒，并搭起了大批高达四丈、分成三层的敌台，每一层里面都放置着弓弩与火器，日夜发射不停，对守军进行火力压制。
同时，还动用了数以千计的攻城器械，其中包括二千四百多门最先进的将军筒(火炮的一种)、二百四十多具襄阳炮与二千四百多具七梢炮(襄阳炮、七梢炮都是抛石机)。淋漓满目的重兵器把平江城轰了个千疮百孔。第二年的九月八日，城被攻破了，在巷战中，数万困兽犹斗的残兵败将或死或伤，剩余的与张士诚一齐成了俘虏。此役充分证明瞭朱元璋所部无可质疑的攻坚能力。
当陈友谅、张士诚这两个最危险的对手被各个击破之后，物產丰饶的江淮地方就成为了囊中之物，而北伐中原，问鼎天下的条件也成熟了。