元狩二年(公元前121年)，匈奴据守在西方的浑邪王杀休屠王，率四万多人降汉，汉得河西走廊。元狩四年(公元前119年)，卫青、霍去病又率大军深入匈奴腹地，与单于接战获胜，“匈奴远遁，而幕南无王庭。”(《史记·匈奴传》)匈奴势力便日趋衰落。同年，张骞奉命再次出使西域。他顺利地到达了乌孙(巴尔喀什湖、伊塞克湖一带)，又分遣副使去大宛、康居、大月氏、大夏、安息等国。
张骞前后二次去西域，扩大了汉朝的影响。西域诸国早就知道汉是个非常富饶的国家，很想建立关系，苦于匈奴的阻挠，“欲通不得”(《史记·大宛传》)。当下匈奴已遭受汉朝的打击，当然更乐意与汉接近了。于是汉朝频频派人到西域，一年中出使的多则十余次，少的五六次;每次去的人有百余、数百不等，出现了“使者相望于道”的空前盛况。但这时匈奴在西域的统治还没有根本动摇，一些国家慑于匈奴的压力，故意刁难汉使，“禁其食物”。汉使“非出币帛不得食，不市畜不得骑用”(《史记·大宛传》)。几个位于交通孔道口的国家，还常常“攻劫汉使”，以兵阻道。在这种情况下，元封三年(公元前108年)，汉发兵击姑师(今新疆吐鲁番、鄯善、奇台一带)、降楼兰(今新疆若羌一带)。太初三年(公元前102年)汉远征大宛取胜，自此“西域震恐，都遣使来贡献”(《汉书·西域传》)。汉遂在敦煌到盐泽(今罗布泊)之间设立了交通亭站，还在轮台(今新疆轮台东南)和渠犁(今新疆库尔勒)等处屯田，置使者校尉，以保护汉与西域诸国间的交通孔道，天山以南地区便在汉的控制下。匈奴虽然仍盘据在天山以北，但已不能“自安”。神爵二年(公元前60年)，匈奴西边日逐王率众到汉西域地方长官郑吉处投降，天山以此也归属于汉。汉“并护北道”，始设“都护”，匈奴在西域的统治至此全面结束。
更始元年(23)王莽被杀，李崇与内地失去联系。匈奴乘虚而入，“略有西域”，“敛税重刻，诸国不堪命”(《后汉书·西域传》)，纷纷要求东汉王朝恢复“都护”管辖。南道上的莎车组织力量抗拒匈奴，保护着居留在西域的“故都护吏士妻子千余口”。不久，汉立莎车王为汉“西域大都尉”，五十余国都属于莎车统领。尔后莎车、鄯善、车师、焉耆等国又派人到洛阳“请立都护”，东汉光武帝刘秀因“天下初定”，“匈奴未服”而没有允诺。于是鄯善、车师、龟兹“复附匈奴”，莎车、于阗又互相争雄，兵事不息。永平十六年(73)昭帝命窦固北征匈奴，取伊吾卢(今新疆哈密东)地，置宜禾都尉，于阗诸国派人到洛阳，翌年设都护，与内地断绝了五十年的西域复通。但汉都护设置仅二年，到章帝继位即罢，又弃伊吾屯田，地入匈奴。永元元年(89)，大将军窦宪破北匈奴，第二年夺回伊吾地，班超定西域。汉遂以班超为西域都护，驻龟兹，并在车师前部的高昌壁再度设置戊己校尉，于车师后部增设戊部侯，完全恢复了汉在西域的管辖。这时，远至条支(阿拉伯国家)诸国，都来与东汉建立关系。班超还派甘英出使大秦(罗马帝国)，行抵条支，为风浪所阻，“临西海而还”，没有达到预期的目的。
班超在任十一年，因老病离开西域。继任都护的不甚称职，引起“西域背畔”。永初元年(107)“诏罢都护”。匈奴又乘机“收属诸国”，一时间西北边患闹得很凶。延光二年(123)，敦煌太守张珰、尚书陈忠建议重开西域，以“震怖匈奴”。朝廷接纳了他们的意见，派班超子班勇为“西域长史”，屯驻“柳中”(高昌壁东南)。龟兹、疏勒、于阗、莎车诸国随即来归附，东汉与西域中断了的统辖关系得以恢复，从此，西域一直是东汉的一部分，但乌孙和葱岭以西的大宛便不再属于汉了。