卫君孺家世出身
卫君孺，一名卫孺，河东平阳(今山西临汾)人，卫君孺出生时间不详，于汉文帝或汉景帝年间，家世寒微，其家号卫氏，在当时的平阳侯曹时(抑或曹时之父曹奇，因卫子夫出生之年不详)封邑境内。其父之名史不见载，母亲卫媪曾为平阳侯家僮，一说侯妾。
卫君孺上有一兄卫长君，卫长君早逝，又有二妹卫少儿，卫少儿有子名霍去病，三妹卫子夫，卫子夫先为平阳公主家歌女，后入宫为汉武帝皇后。卫君孺又有同母异父兄弟三人，即卫青、卫步、卫广。
家族发迹
卫君孺的妹妹卫子夫入宫之后有大幸，汉武帝欲显贵卫家。便召卫青为建章监，并加侍中。兄长卫长君也得到显贵，亦加为侍中，数日之内，赐给卫家的赏金累计竟达到千金之多。 后来卫子夫封为夫人，继而立为皇后，先后为汉武帝生下三女一男。
而其家族更是得到极度的显贵，武帝赐婚使卫君孺嫁给当时的太仆公孙贺为妻，后来公孙贺做了丞相。二姐卫少儿因与陈掌有私，汉武帝便召来陈掌使其显贵，弟弟卫青则升为大中大夫之职。