在卫青最当红的时候，他的稗将苏建曾经劝过大将军卫青：“大将军的地位如此尊崇，而天下的贤人士大夫都没有人称赞你，也不关注你。大将军应当学以前的名将招揽一些士人，多多举荐他们才是啊。”卫青说：“自从魏其侯、武安侯招徕了天下的宾客和士人之后，天子常常恨得咬牙切齿;那种招纳贤人斥退不肖的能人，就是天子的忌讳。我们当臣子的就是奉法遵职而己，为什么要招纳士人呢。”
魏其侯窦婴，武安侯田蚡，都是外戚，都曾权重一时，都死得很惨。卫青能有这份清醒，也是他能得善终的根本原因。
卫青当上了大司马大将军。这个官职什么意思呢?从武帝开始，为削弱相权设立内朝，如丞相等的正规官职属于外朝，而大司马大将军则是内朝领袖，可领衔在内朝预闻政事，参议决策;实际上是地位最高的辅政大臣，权力超过丞相。
而得到这一切，卫子夫的皇后身份只能帮他们起步，更要归功于他们彪悍的战功。《汉书》中说道：“最(意为统计)大将军青凡七出击匈奴，斩捕首虏五万余级。一与单于战，收河南地，置朔方郡。再益封，凡万六千三百户;封三子为侯，侯千三百户，并之二万二百户。其裨将及校尉侯者九人，为特将者十五人。”而且，正是卫青，把原本不善作战的农耕民族的战斗力大大提升了。正如南宋军事家岳飞所言：“战法革新破匈奴，卫青始。”
但卫青的做人方式，完全不像是一个大权在握的大司马大将军，反倒惕厉自守，异常小心。卫青深知武帝要的是绝对威权。他出征匈奴归来，把赏金分一半给武帝宠妃王夫人的父母亲上寿;他出征在外，有权处理自己按律当斩的稗将，他不敢，把稗将绑起来带回给天子处置;又明示自己不敢养士。司马光的《资治通鉴》卷十九中，便说卫青“以和柔自媚于上”。
卫青夹着尾巴做人，武帝自然要蹬鼻子上脸。武帝着意培植霍去病，时时打压卫青。举个例子，在元狩四年出征时，卫、霍二人同时出征，但霍去病是有优先选配将士之权的，卫青就只能配备挑剩下的士兵了。原本听说匈奴大单于在西路，武帝就让霍去病走西路;后来听说大单于在东路，又改派霍去病走东路，目前就是为了让霍去病立大功。只不过，遇到大单于的却是卫青，虽然打了胜仗，大单于也逃了。回来后，霍去病受了重赏，手下的将领很多都立了功;而卫青没有受赏，手下也得不到封赏。经此一役，卫青以前的朋友门人多去侍奉霍去病了，改换门庭，轻轻松松就拿到官爵。
武帝抬高霍去病而打压卫青，很显然是有分权的原因，好让霍去病与卫青两人都握重兵，互相制衡。但我想，分权虽是考量的重要因素，但武帝越来越看不上卫青，也跟武帝的性格有关。卫青不敢论政事，永远都小心翼翼、战战兢兢，这样的人固然不会犯什么大错，也无法招人喜欢;对于恣意飞扬、狂放浪漫、好大喜功的武帝来说，确实无法跟卫青产生共鸣。
事实上，卫青之谨慎，已经把二人的君臣关系转化为主奴关系。致使宋代的苏轼在《君使臣以礼》犹不平：“武帝踞厕而见卫青，不冠不见汲黯。青虽富贵不改奴仆之姿，而黯社稷臣也。”就是说，你卫青位高权重，姿态还是像个奴仆，而汲黯这种没能被任用的，反而是真正的社稷臣，值得尊重。更在《东坡志林》卷四里说道：“若青奴才，雅宜舐痔，踞厕见之，正其宜也。”把人家出生入死的大司马大将军说成是舐痔小人，这也太狠了。
元狩六年时，当了两年大司马的霍去病病死。而在此后，汉武帝再也没有派卫青出征。接下来，卫青的长子宜春侯卫伉坐法失侯;后来，卫青的两个小儿子与卫青的大姐夫公孙贺都丢掉了爵位。开始的一门五侯，只剩下卫青一个了。
而且，对卫青及卫氏家庭的打击，绝非偶然，很难说，这些打压，不是一局大棋。
这样大家能理解了吧?为什么卫青权势那么大，还是胆小如鼠?那是因为，在汉武帝这样的强势君王面前，他想自保，想给家族留一条活路啊。但是，这能管用多久?