马邑伏击战之后，汉匈关系进一步恶化。匈奴从上谷入侵，烧杀抢掠，边境官民死伤惨重。在军事上、经济上都已有所准备的汉武帝正式开始了大规范反击匈奴的战争。卫青也由此迎来人生的一个崭新阶段。
他第一次领兵作战参与了关市之战。元光五年(前130年，一说为元光六年，前129年)，汉武帝分兵四路出击关市附近的匈奴军。卫青被任命为车骑将军，委以重任，从上谷(郡治在今北京延庆西南)出击匈奴军。另外三路：太仆公孙贺为轻车将军，出云中;大中大夫公孙敖为车骑将军，出代郡;卫尉李广为骁骑将军，出雁门(郡治在今山西左云西)。这四路将军每人各自率领1万骑兵。然而他们进兵作战战果却大相径庭。这次战役，卫青没有辜负汉武帝的信任，从上谷出发，一路追击匈奴兵至茏城(也写作“龙城”。
网络配图
收复河南地之战后，匈奴人并不甘心失败。从元朔三年(前126年)起，匈奴军大规模入侵代郡、定襄(郡治在今内蒙古和林格尔西北)、上郡(郡治在今陕西榆林南)，杀害虏去汉朝几千人。元朔五年(前124年)，卫青被任命为车骑将军率领骑兵3万人，从高阙出发。同时出发的还有：游击将军苏建，强弩将军李沮，骑将军公孙贺，轻车将军李蔡，他们都由卫青统一指挥，从朔方出发。卫青率大军出塞六七百里，趁夜突袭包围了右贤王部，大获全胜，斩获辉煌。这次战役后，汉武帝派使者正式授予卫青大将军印信，各路将领及部队都统一归属大将军指挥。由此，卫青逐渐成为西汉军队的最高领导者。