十六国时期，北方处在“五胡乱华”之中，四分五裂，政权林立。到了苻坚做前秦皇帝的时候，经过励精图治，相继消灭多个独立政权，从而统一了北方。
383年，苻坚调集百万大军南下，企图消灭南方的东晋政权，实现全国统一。然而，前秦帝国只是表面上看似强大，内部其实矛盾重重，被征服的各族势力虽然名义上臣服，但是无时无刻不在寻找着独立的机会。
前秦与东晋在淝水大战，结果大家都知道，苻坚败得很惨。北方各族终于盼来了这大好的机会，纷纷脱离前秦自立，姚苌建立了后秦，慕容泓建立了西燕，慕容垂建立了后燕。苻坚在战败后，狼狈不堪地逃回北方，于385年被姚苌所杀。
就在苻坚穷途末路之时，他手下的一位将领正率军远征，横扫西域。班师途中，得知了苻坚的死讯，这位将领也像别人一样自立为王，建立了一个新的国家。
这位将领，就是吕光。
吕光出生于337年，氐族人，可他的祖先却是汉人，是西汉吕后的族人。吕后死后，吕氏满门被杀，吕光的先祖吕文侥幸逃脱，来到略阳(今甘肃天水)定居，与当地的氐族人世代融合，成为当地大族。
据《晋书》记载，吕光天生异相，“身长八尺四寸，目重瞳子，左肘有肉印”，竟然是历史上少见的“重瞳”。而且他的性格“沈毅凝重，宽简有大量，喜怒不形于色”。还很年纪时，吕光就被推荐到了苻坚的手下任职。22岁时，吕光在一次平乱战争中一战成名，成为苻坚的得力爱将。
在此后的二十多年里，吕光为苻坚东征西讨，立下了赫赫战功，为前秦统一北方做出了重要的贡献。
382年，也就是淝水之战的前一年，西域的车师、鄯善两国派使者觐见苻坚，请求前秦派人管理西域。苻坚于是任命吕光为使持节、主帅，率七万步兵和五千骑兵，前往西域进行征讨和经略。
383年初，吕光率领大军离开长安前往西域。当他率军行至高昌(今新疆吐鲁番)，得知苻坚率大军南征东晋，便打算就地驻扎待命，看是否需要回师助战。他的部下则劝他继续执行命令，尽快平定西域。吕光率军到达西域后，迅速了降服了西域各国。
控制西域后，吕光原本打算留在龟兹，但高僧鸠摩罗什劝他回东方，部下也请求回去。于是，吕光决定班师。385年，吕光率领着军队，携带了大量的珍宝、骏马等从西域返回。
班师途中，吕光得知苻坚攻打东晋失败的消息。经过凉州时，又遭遇前秦凉州刺史梁熙的阻拦。吕光击败梁熙后，占据整个凉州，便停止了前进。
386年，吕光听说苻坚已在一年之前就被姚苌所杀，在凉州下令三军为苻坚服丧。然后，吕光给自己加了很多封号，自称使持节、侍中、中外大都督、督陇右河西诸军事、大将军、凉州牧、酒泉公。并且不再使用前秦年号，自建年号为太安。这实质上就是自立为王，建立了一个新的政权。尽管此时前秦还并没有灭亡，依然有残余势力存在，但是已经不被认可了。
389年，吕光改称三河王，设置百官。后来又改称天王，建号大凉，史称后凉。后凉的统治范围包括甘肃的大部分和宁夏、青海、新疆的一部分，在当时是一个不大不小的国家。
399年，吕光去世。吕光死后，由于继任者们自相残杀，加之外敌众多，到403年时后凉就灭亡了。