明太祖北伐成功将元军赶出了长城以北地区，并未赶尽杀绝。元朝的残存势力虽然经常互相残杀，有时强盛有时衰弱，但一直侵扰明朝的边境，企图卷土重来。因此，明朝自建国起，其国防就一直以北方边镇最为重要，而有明一代，北方的边患也从未停止过，直到亡于李自成。
洪武年初，朱元璋即在北方设辽东〔今辽宁辽阳〕、大同、宣府〔今河北宣化〕、延绥四镇，不久又设宁夏、甘肃〔在张掖〕、蓟州〔今天津市蓟县〕三镇，其镇守为武职大臣，提督则为文职大臣。又以山西镇巡统驭偏头三关，陕西镇巡统驭固原，也称为太原、固原二镇，这九镇统称“九边”。九边东起鸭绿江，西到嘉峪关，绵延万里。
朱元璋又在长城以北建立大宁卫〔今凌源〕、开平卫〔今内蒙古多伦〕、东胜卫〔今内蒙古呼和浩特〕三个军事重镇，作为九边的外围据点。于要害之地，如紫荆关、芦花领、古北口、居庸关、喜峰口、松亭关等处，也都置兵戍守。于是东起辽阳，西经大宁、开平、兴和、独石、东胜，抵大同，数千里间，各边镇卫所都驻军队、开屯田，声势相连，形成了一条牢固的防务线。
其中，山海关乃关内外交通枢纽，地势最为重要，女真兴起后，以此地驻兵最多，设总兵和经略负责镇守。驻守边镇的军队称为边兵，总兵官总镇正兵，副总兵领三千人作为奇兵，游击 也领三千人往来防御
，为游兵，恭将分守各路要塞，东西互相策应，为援兵。永乐年间，成祖自动放弃大宁卫，把大宁所辖边地赏给兀良哈，从此北边失一重镇，辽东与宣府、大同的联络也因此阻绝。成祖又徙东胜左卫于永平，右卫于遵化，宣宗更因开平卫孤远难守，徙于独石，三卫尽失，边防的形势大为削弱。以前是边防第二线的宣府、大同也逐渐变为最前线的要塞了，北方的国防线因此步步南移。不过成祖对边防还是相当重视的，自宣府以西，直至山西边缘，“皆峻垣深壕，烽堠相接”，凡通车马的隘口，设百户防守，只有樵夫牧民的隘口，也安置边兵十人戍守。英宗正统元年，因为宁夏所辖的屯堡均在河外，旷远难守，由总兵史昭建议，在花马池筑哨马营，以便策应。宪宗成化七年，延绥巡抚余子俊大筑边城，东起黄甫川，西至定边营，共一千二百余里。而在墙内，自偏头至宁固，堑山堙谷，称之为夹道。这些边城，非常坚固，守卫的将士也英勇顽强，北人称之为骆驼城，一时之间，西北防务颇为振饬。