公元前121年,霍去病由陇西出击匈奴,河西走廊成为了西汉的势力范围,汉朝先后于该地区设置武威、张掖、酒泉、敦煌四郡。汉武帝元封五年(前106)西汉开始施行“刺史”这一监察制度,分天下为十三州,各置一刺史,凉州便是这十三州刺史部之一。以西方寒凉、土田薄得名。
 

 
据《汉书·萧望之传》所载,省察“陇西以北,安定以西”八郡。据今人考订,八郡应为安定、天水、陇西、金城、武威、张掖、酒泉、敦煌八郡,辖境相当于今天甘肃的大部分地区,宁夏青铜峡市以南、以西,青海青海湖以东和内蒙古额济纳旗等地。凉州地处东亚内流域和东亚外流域地理、时间和信息交汇的地点上,从纳入中国版图以来就是中国西北的重要都会。
东汉末年,天下大乱,农民起义不断,皇帝为了镇压起义,赋予州牧征税等财政大权和军权,在镇压农民起义的同时,也造成了军阀割据。凉州因为地处抵御游牧民族的前沿,经常与游牧民族作战,影响与融合,民风尚武彪悍,将士作战勇猛,成了当时影响力最大的军事集团之一。凉州进一步成为丝路上的大型都会,无数来自西方的商旅都在此安家落户,长期贸易。
公元301年,凉州大姓张轨被西晋封为凉州刺史,开始大规模修筑姑藏城,“其城本匈奴所筑也,南北七里,东西三里,地有龙形,故名卧龙城”(《晋书·张轨传》)。西晋末年,中原经历八王之乱和少数民族动乱,中原落入外族之手,张轨在保境安民的同时,收容了中原大量逃难的流民,当时的凉州姑臧府(今武威)与扬州建康府(今南京)成为了中原士族躲避战乱的主要地区。
西晋灭亡后,张氏仍据守凉州,但已成为独立政权,与晋王朝失去联系,320年张茂建立西凉政权,都城姑臧(今武威市凉州区),向东晋称臣。十六国时,张轨自立为帝,国号为凉,是为前凉(317~376)。前凉开疆扩土,疆域一度达到120万平方公里,姑臧成为另一个华夏文明的中心,呈现北有姑臧,南有建康的现象,敦煌的莫高窟也是这一时期开始建造的。
 

 
前凉政权以其相对安定的政治环境庇佑了迁徙至此的儒家学者,河西儒学逐渐繁荣,中原文化得以保全并发展。儒家文化不仅在河西走廊扎下了根脉,还最终东渐反哺中原,成为隋唐文化和制度的重要来源。后来北魏的均田制、三长制建立便受到了凉州文化和制度影响。
前凉于376年被前秦灭了,苻坚的崛起,迎来了北方的第一次统一,但是在淝水之战受到重创的前秦随后不久也覆灭了,凉州再一次成为了独立王国——后凉。后来李暠在敦煌建立西凉政权,后迁都酒泉,421年西凉被匈奴建立的北凉灭亡,唐朝皇室视西凉李氏为其先祖。西魏时期,西凉州改名甘州,而五代时期酒泉改名肃州,这是甘肃省名称的由来。前凉、后凉、西凉、北凉、南凉,一共五个朝代在此建都,互相征伐兼并。其中北凉国主匈奴人沮渠蒙逊在武威郊外的天梯山上开凿石窟弘扬佛法,成为了中国石窟艺术的鼻祖。隋末时期,武威郡司马李轨起兵反隋,国号大凉,这是武威作为六朝古都的最后一个王朝。大凉归附西突厥,也很快陨落。
武则天时期定都神都洛阳,洛阳、凉州、扬州并称大周的三大经济中心之一。丝绸之路重新开通,河西走廊再次成为交通要道。凉州是帝国的重要的经济中心,军事重镇,以凉州词为名的古诗更是耳熟能详。相传唐朝玄宗开元年间,陇右节度使郭知运曾搜集了一批西域的曲谱,进献给了好诗词歌赋的唐玄宗。而李隆基则交给当时教坊翻译成了中原曲谱,并配上新的歌词予以演唱,这便是《凉州词》的来历。后来许多诗人都喜欢这个曲调,为它填写新词,流传至今的《凉州词》也达数十首之多。
李元昊的祖父李继迁在征讨凉州时中了吐蕃人的埋伏重伤身亡,直到李元昊时期才将河西走廊的各路军阀统一起来。而武威的重要性也立即显现,成为了银川以外的西夏第二都城——西都。