始月氏居敦煌、祁连间，及为匈奴所败，乃远去，过宛，西击大夏而臣之，遂都妫水北，为王庭。其余小众不能去者，保南山羌，号小月氏。
　　
　　上述文字见于《史记·大宛列传》，这大概是提及“敦煌”这个地名的最早文献记录之一。
　　
　　这段话的大意是，最初月氏这个民族居住在敦煌和祁连山之间，即河西地区。后来被匈奴打败，经过宛（今乌兹别克斯坦共和国费尔干纳），降服西面的大夏（位于阿富汗北部的部族）在妫水以北定都称王。其余没有逃出来的小部族，占领了祁连山羌族的土地，称为小月氏。
　　
　　那么，原本是敦煌主人的月氏，是什么时候被匈奴赶走的呢？
　　
　　关于战国时代的匈奴，《史记》中有如下记载：
　　
　　东胡强而月氏盛。
　　
　　不胜秦，北徙。
　　
　　这说明当时的匈奴并不怎么强大。秦朝灭亡时，中国内地大乱，秦朝的守军撤走，匈奴终于有了喘息的机会。
　　
　　从冒顿单于的时代起，匈奴才变得强盛起来。单于是匈奴王的称呼，冒顿是头曼单于的长子，也是太子。头曼单于宠爱爱妃所生之子，将冒顿送到月氏当人质。人质基本上是由较弱的一方向较强的一方送出，作为服从的证据。因此，我们可以认为当时月氏比匈奴强大。
　　
　　头曼单于将冒顿送到月氏当人质，却又对月氏发动了攻击。这表明，即使对方将太子杀死也在所不惜--不，也许头曼其实是想借刀杀人。因为如果要把爱妃的儿子扶正，必须先将太子铲除。
　　
　　勇敢的冒顿偷了月氏的名马，逃了回来，然后弑父自立。冒顿单于首先向东出兵，击败东胡之后，又攻击西边的月氏，使其大败而逃。
　　
　　汉文帝四年（前176），冒顿单于送书至汉，开头之语句咄咄逼人：
　　
　　天所立匈奴大单于敬问皇帝无恙。
　　
　　信中还叙述了匈奴的近况：
　　
　　以天之福，吏卒良，马力强，以夷灭月氏，尽斩杀降下定之。楼兰、乌孙、呼揭及其旁二十六国皆已为匈奴。
　　
　　信中提到了败退月氏，既然是近况描述，大概是近几年的事情。
　　
　　就这样，在公元前176年前后，敦煌附近一带都成了匈奴的地盘。
　　
　　关于月氏被匈奴赶走、逃到今阿富汗境内的事，存在两种说法。一说是月氏败走以后，进入了他国领土；另一说则认为，月氏只是迁移到了本国领土的西部。根据后一种说法，月氏所占据的版图很大，包括了河西地区到丝绸之路全境。
　　
　　后一种说法的其中一个根据是，月氏既然强大到能将匈奴单于的太子作为人质，那么应该不只是占有敦煌及河西地区。也就是说，由于包括敦煌在内的河西地区是公认的“贫瘠之地”，只是占有这片土地的政权，不可能有多强大。
　　
　　敦煌原来也是这么不受重视的地方。
　　
　　于是，在公元前176年前后，这里便成了匈奴的领土。而到了汉武帝的时候，才将匈奴从这里赶跑。汉武帝的时代人才辈出，卫青、霍去病、李陵等名将在征讨匈奴的战场上大显身手。
　　
　　击退匈奴之后，汉朝设立了河西四郡，作为经略西域、对匈奴作战的基地。
　　
　　据《汉书·武帝本纪》记载，元狩二年（前121），匈奴的浑邪王降汉，汉朝在千里河西设置武威、酒泉两郡；元鼎六年（前111），在此基础上又分设张掖、敦煌二郡。而《汉书·地理志》中的记载略有不同，张掖、酒泉两郡为太初元年（前104）所设，武威郡为太初四年（前101）所设，敦煌则在后元元年（前88）从酒泉分离出来单独设郡。
　　
　　总之，从公元前1世纪左右起，包括敦煌在内的河西地区纳入了汉朝版图。