卫青出身低微，他的父亲是平阳侯曹寿家里当差的。卫青长大以后，在平阳侯家当了一名骑奴。后来，因为卫青的姐姐卫子夫进宫，受到汉武帝的宠幸，卫青的地位才渐渐显贵起来。就在李广在战斗中被匈奴兵俘虏后又逃回的那年，汉军四路人马，三路都失败了，只有卫青打了个胜仗，被封为关内侯;以后，又接二连三地打败匈奴兵，立了战功。
公元前124年，卫青率领骑兵三万，追到长城外。匈奴右贤王以为汉军还离开很远，一点也没防备，在兵营里喝酒作乐，喝得酩酊大醉。卫青在夜色的掩护下，急行军六七百里，包围了右贤王。汉兵从四面八方冲进匈奴营地，打得匈奴部队四面逃窜，乱成一团。右贤王的酒刚刚惊醒，要抵抗已来不及了，只好带着他的几百个亲信脱身逃走。这一仗，卫青的人马一共俘获了一万五千多个俘虏，其中匈奴的小王十多人。
匈奴的左右贤王，只比单于低一级。这次战争，右贤王全军覆没，对匈奴单于是一个很大打击。汉武帝得到捷报，立刻派使者拿着大将军印，送到军营，宣布卫青为大将军，连他的三个还没有成年的儿子也封为侯。卫青推辞说：“我几次打胜仗，都是部下将士的功劳。我那三个孩子还都是娃娃，什么事都没干过。要是皇上封他们为侯，怎么能够勉励战士立功呢!”
汉武帝经他一提醒，就封了卫青部下的七名将军为侯。第二年，匈奴又来进攻。汉武帝又派卫青率领六个将军和大队人马去对付匈奴。卫青有一个外甥，叫霍去病，那时候才十八岁，非常勇敢，又会骑马射箭，这次也跟着卫青一道去打匈奴。匈奴听到汉军大批人马来进攻，立即往后逃走。卫青派四路人马分头去追赶匈奴部队，一定要把匈奴主力打败。卫青自己坐镇大营，等候消息。
到了晚上，四路兵马都回来了，没有找到匈奴主力，有的杀了几百个兵士，有的连一个敌人也没有找到，空着手回来了。霍去病还是第一次出来打仗的小伙子，才做了个校尉。他带领了八百名壮士，组成一个小队，去找匈奴部队。他们向北跑了一阵，一路上没瞧见匈奴兵士，一直赶了几百里路，才远远望见匈奴兵的营帐。
他们偷偷地绕道抄过去，瞅准一个最大的帐篷，猛然冲了进去。霍去病眼明手快，一刀杀了一个匈奴贵族。他手下的壮士又活捉了一个。匈奴兵没有了头儿，四处奔逃，八百个壮士追上去又杀了两千多匈奴兵，才赶回大营。卫青在大营正等得着急，只见霍去病提了一个人头回来，后面的兵士还押了两个俘虏。经过审问，才知道这两个俘虏，一个是单于的叔叔，一个是单于的相国，那个被霍去病杀了的还是单于爷爷一辈的王。
十八岁的霍去病第一次参加作战，就逮住了匈奴的两个将官，这功劳可真不小。战斗结束，被封为冠军侯。公元前121年，汉武帝又封霍去病为骠骑将军，率领一万骑兵，从陇西出发，进攻匈奴。霍去病的兵马跟匈奴接连打了六天，匈奴兵抵挡不住，向后败退。霍去病和他的骑兵越过了燕支山(在今甘肃永昌县西)，追击了一千多里地。那边还有不少是匈奴的属国，像浑邪(在今甘肃省境)、休屠(在今甘肃武威县北，屠音tú)。汉兵到了那里，俘虏了浑邪王的王子和相国，把休屠王祭天的金人(一种铜像)也拿来了。
汉武帝为了慰劳霍去病，要替他盖一座住宅。霍去病推辞了。他说：“匈奴还没消灭，哪儿顾得上安家呢!”(文言是“匈奴未灭，何以家为!”)为了根除匈奴的侵犯，到了公元前119年，汉武帝经过充分准备之后，再次派卫青、霍去病各带五万精兵，分两路合击匈奴。
卫青从定襄郡出塞，穿过大沙漠，行军一千多里，匈奴的伊穉邪(穉音zhì)单于亲自率领精兵严阵对抗。双方展开了一场大会战。激战到夜幕降临的时候，沙漠上突然刮起一阵狂风，夹着砂砾，吹得天昏地黑。卫青顶着狂风，冒着扑面的砂砾，命令骑兵分左右两翼夹攻。伊穉邪单于招架不了，带了几百骑兵向北突围逃去。卫青一直追到寘颜山(古山名，今蒙古高原杭爱山南面的一支、寘音tián)下的赵信城，匈奴兵已经逃空，城里贮存了不少粮草。卫青让兵士们饱餐了一顿，把多余的积粮烧了，才胜利回师。
另一路，霍去病也横越大沙漠，前进两千多里，大破匈奴左贤王的兵马，一直追到狼居胥山(在今内蒙古自治区五原西北黄河北岸;一说在今蒙古人民共和国境内)下，在那里立了一块石碑留作纪念。这是汉朝规模最大、进军最远的一次追击。打那以后，匈奴撤退到大沙漠以北，沙漠南面就没有匈奴的王庭了。