说到卫青，大家的第一念头可能是他的姐姐卫子夫是当朝皇后，他的外甥刘据是当朝太子，他的夫人是平阳公主，他自身也是战功赫赫，身居高位。但如此厉害的人物，在没有发迹前地位却十分低贱。卫青与姐姐卫子夫自幼在平阳公主家相依为命，虽然都为奴，但他们的运气却是极好的。
公元前139年，汉武帝刘彻来平阳公主家做客，为了款待自己的弟弟，平阳公主准备了舞姬助兴。卫子夫在人群中脱颖而出，受到了汉武帝的宠幸，之后随武帝入宫，卫青后来也受到武帝重用。 公元前129年，卫青首征匈奴，卫青虽初出茅庐，但是胆子却很大，在作战过程中，深入敌方内部，大败匈奴凯旋而归，被汉武帝封为关内侯。公元前127年，匈奴入侵，危及长安，卫青临危受命，一鼓作气，解决了匈奴对长安的直接威胁，后被封为长平侯。之后多次带兵出征，均取得良好的战绩，卫青在世时，匈奴不足为患。
卫青在中年时迎娶汉武帝姐姐平阳公主，昔日主仆身份变成夫妻关系也是当时百姓流传的佳话，虽然婚后平阳并未为卫青诞下一儿半女，但二人依旧相敬如宾，生活美满。公元前106年，卫青积劳成疾，因病去世。卫家在卫青在世时虽显赫一时，但卫青逝世之后便逐渐没落。
虽然卫家没落了，但是卫青在史料记载中在与平阳公主成婚前已经成家，拥有过三个儿子，那么卫青的儿子在卫青离世后是怎样的结局呢?
长子—卫伉
卫伉幼时便被封为宜春侯，待父亲死后，卫伉继承了父亲的长平侯爵位，卫伉虽是卫青长子，却没有继承父亲的良好基因，反而经常惹是生非，引起武帝的厌恶。 公元前116年，卫伉因坐“矫制不害”被免侯;公元前102年，卫伉因没有符籍而擅自入宫，再次被罢免侯位。在公元前91年，因公孙贺父子被捕入狱，卫伉牵涉到“巫蛊之祸”中，后被汉武帝赐死。卫伉虽有侯位但并没有什么作为，最后惨死，也是几个兄弟当中结局最悲惨的一个。
次子—卫不疑
卫不疑在小的时候，因父亲出征匈奴有功，便被封为阴安侯。后来因酎金失侯，但元鼎五年后，史书上便没有了关于卫不疑的记载，甚至他的子嗣以及卒年都没有记录。所以推测卫不疑之后应该没有在朝廷中担任要职，而是平稳度过一生。
幼子—卫登
卫登儿时和哥哥一样的遭遇，即幼时封侯，后来酎金失侯。史书后来对卫登的记载很少，可以考察的是卫登一脉在汉宣帝时复家，汉成帝和汉平帝时均有记载卫登一脉在朝中为官，也算是延续了卫家的香火。
如上所见，自卫青去世之后，卫子夫少了弟弟这座靠山渐渐失宠于武帝，而太子刘据也因巫蛊之祸被迫自我了断，卫氏一族的荣誉渐渐倒塌。再加上卫青的儿子们不争气，并没有治世的才华，也没有受到武帝的欣赏，之后生活的便不是很如意。