公元前101年，汉武帝在西域设置了使者校尉（当时称为西域都护的前身），派遣数百骑兵和数千民夫驻守轮台和渠犁，以供给往来的汉朝使者。这一职务不久后改名为屯田校尉，由扜弥国的太子赖丹担任。

轮台是李广利曾经征服的国家，和龟兹同属吐火罗人，轮台是龟兹的附属国。汉朝在这里屯田，但这让龟兹人心生愤怒。渠犁则是一个塞人国家，原本是吐火罗三大势力——龟兹、焉耆和楼兰——准备逐步吞并的对象，但汉朝的介入打破了吐火罗人扩张的计划。

赖丹原本是扜弥国的太子，在李广利第二次远征大宛时，路经扜弥国并了解到赖丹被送到龟兹作为人质。扜弥国位于昆仑山北麓，人口众多，却因为与龟兹隔着塔克拉玛干沙漠而很难与外界交往。李广利利用自己在大宛的胜利和威势，派人向龟兹要求释放赖丹，并将其带到长安。赖丹被任命为屯田校尉，这种做法属于“以夷制夷”，类似于之前汉朝利用匈奴降将担任军事职务的策略。

赖丹由人质变为汉朝的西域大吏，这让龟兹国上下感到非常气愤。作为屯田校尉，赖丹的责任不仅是管理屯田工作，还要修建用于休息的亭障。这些亭子遍布自盐泽以西到乌垒一带，方便过路的商旅休息。

公元前96年，匈奴的狐鹿姑单于刚即位，就迅速展开对西域的布局。他任命了两个儿子分别为左右日逐王，掌管西域的军事事务，负责监控西域各国。右日逐王设立了僮仆都尉，与汉朝的使者校尉进行直接对抗。匈奴加强了对西域的控制，特别是对乌孙的压力较大。乌孙的领土位于北天山一带，是匈奴右部最接近的地区。

除了对乌孙的直接压力，匈奴还在其他地区安插了多个部落，如单桓、劫国和乌贪訾离等。这些部落虽然人数不多，但它们的存在帮助匈奴向乌孙扩展，起到像前哨基地一样的作用。

与此同时，匈奴的影响力也在逐渐逼迫其他吐火罗国家如车师、焉耆和楼兰向匈奴称臣。车师是距离匈奴较近的吐火罗国家，不得不再次送王子为质。焉耆则有强大的军事力量，控弦骑兵达到6000人，开始向西扩张，意图吞并秦海地区的危须部落，向南进攻尉犁和渠犁。楼兰国在此期间也被匈奴严加控制，楼兰王不得不派次子到匈奴为质。

汉朝虽然表面上与西域各国保持友好关系，但由于国内政治纷争和精力分散，对西域的管理显得乏力。公元前96年，楼兰王子被卫霍集团的政治斗争牵连，遭到宫刑，这对汉朝在西域的声誉造成了很大损害。

此时，汉朝正深陷内部政治斗争，卫霍集团与李广利的权力斗争使得西域的事务被忽视。楼兰王子被宫刑的事件加剧了西域的局势，楼兰国对汉朝的敌意也逐渐加深。汉朝与楼兰的矛盾最终导致了楼兰王子安归带领匈奴骑兵回到楼兰，杀死新国王自立为王。面对这一局势，汉朝未能采取有效措施。

最终，西域的局势逐渐恶化，匈奴的控制力不断加强，而汉朝却未能做出及时的反应。西域的局势此时已经回到了李广利征大宛前的状态，汉朝的影响力开始逐步削弱。