汉武帝发泄起怒火来，卫青的家族算什么，就连自己的妻儿他也不放过。当然汉武帝并没有诛灭卫青的整个家族，而是给卫青留下了两个儿子传宗接代，后来卫青的一部分后代也恢复了爵位。
卫青一生共有3个儿子，分别为长子卫伉、次子卫不疑、三子卫登。公元前127年，卫青奉汉武帝命，率军十万出征匈奴，此战大获全胜，卫青斩获匈奴王爵以上十余人，俘获匈奴人口一万五千余人，牲畜几百万。刘彻得知后兴奋异常，立刻封赏了卫青，同时还将卫青尚在襁褓中的三个儿子封为了列侯。从此之后卫氏一门显贵无比，逐渐成长为朝堂上的重要力量。
卫青除了三个儿子之外，还有三个地位显赫的姐姐，分别是长姐卫君孺，嫁给了宰相公孙贺。二姐卫少儿，生育了冠军侯霍去病。三姐卫子夫嫁给了汉武帝，并且生育了太子刘据。因此，在朝廷上形成了庞大的势力，卫氏一门也全部聚集在了太子刘据的麾下。
公元前106年，卫青去世后，很多觊觎太子之位的人都认为刘据失去了最大的靠山，所以开始在汉武帝面前构陷刘据，打击卫氏势力。此时的汉武帝可能也认为外戚势力过大，将来太子刘据登基之后，很可能无法收回权力，所以开始着手打击卫氏一门。卫青的长子卫伉也因此失去了侯爵，被汉武帝发配边疆，修筑了五年的边关城池。
公元前92年，新一轮的政治风暴来袭。丞相公孙贺与卫君孺的长子、时任太仆的公孙敬声，擅自挪用军费1900万钱。至于这1900万钱去了哪里，史书中并没有提及。但这件事却让公孙敬声被捕下狱。事后，公孙贺心急如焚，恰好当时长安城中有一名江洋大盗朱世安，累累作案却逍遥法外，公孙贺向汉武帝请求，以抓捕朱世安将功赎罪，换出自己的儿子公孙敬声。武帝当时也同意了公孙贺的请求。
很快，公孙贺便抓获了朱世安，并且将其送到了朝廷司法部门。但朱世安被捕后不仅不悲伤，反而笑着说：“丞相把祸事引到了自己的家中，即将大难临头了，终南山的竹子伐尽，也不足以书写你的罪过。”很快朱世安便爆出了一个惊天的大料，上书汉武帝说："公孙敬声与武帝女儿阳石公主私通，且在驰道上埋藏人偶诅咒陛下。”汉武帝晚年对巫蛊之事异常敏感，尤其是权势日盛的卫氏家族，更是日夜提防，所以便将公孙贺父子二人重新下狱调查。最终公孙贺父子二人都在狱中被杀。
公孙贺父子被杀后，卫氏一门开始受到株连，卫子夫的女儿诸邑公主，卫青的长子卫伉也因为这件事被处死，这就是巫蛊之祸的开端。这件事使得卫氏一门受到了严重的打击，从此之后一蹶不振，而且太子也失去了所有的外援。于是在几个月后，与太子刘据有过节的江充诬陷其以巫蛊之术谋害武帝，最终引起了刘据的反抗。而武帝则直接派兵处死了刘据，卫子夫也因此自缢身亡。
纵观整个事件，卫氏一门，凡是掌握朝廷大权的人全部被处死，但这件事并没有祸及卫青的次子卫不疑和三子卫登。网上谣传汉武帝将卫青子嗣全部处死，实际上是大部分人对于《汉书·外戚传》中“卫氏悉灭”的误解，这句话的意思是说卫氏一门在朝廷中的势力被连根铲除。而如果是被诛灭全族的话，汉朝史书一般会采用“族”或“族灭”来表示。
最后说一下，卫青次子卫不疑在巫蛊之祸后便没有了记载，但卫青的三子卫登一脉在汉宣帝时期复家，还受到了50万钱的赏赐。后来卫登的孙子还以长安公乘的爵位做了侍郎。西汉末年，王莽当政时期，卫登的四世孙还被赐爵关内侯。以此可见，卫青后人并没有被灭门。