春秋时期晋平公十七年(公元前541年)晋国大将荀吴北伐胜利后便在太原地区建设了晋阳城，三家分晋之后晋阳曾经长期作为赵国的都城。唐朝的开国皇帝李渊曾经因镇守太原而被封为“唐国公”，他又是在此处起兵反隋，最终建立唐朝。随后，又有后唐、后晋、后汉、北汉等国或者龙兴于晋阳，或者以晋阳为都城，故晋阳有了“龙城”的别称。
北汉是五代十国中唯一一个处在北方的国家，它虽然版图很小，但是由于有契丹势力的支持，它也成了后周和北宋的心腹大患。以雄武著称的周世宗柴荣、宋太祖赵匡胤都曾经亲征北汉，但均以失败告终。宋朝建立初期，在赵匡胤、赵光义兄弟二人的努力之下，南方的南唐、后蜀等多个割据政权先后被翦除，中原地区完成了基本统一。在“先南后北”战略的指导下，赵光义终于可以面对北方的敌人了。
太平兴国四年(公元979年)，宋太宗赵光义御驾亲征，在付出巨大代价之后终于攻破了晋阳城，北汉末帝刘继元投降，北汉灭亡。
但是，就在吞并北汉不久之后，赵光义便在晋阳城外设置了一个巨大的临时安置区，将晋阳百姓全部前往此处，随后下令纵火焚烧了这个有着一千五百多年历史的古城，旋即将汾水引入这片废墟之中，晋阳城自此荡然无存。
赵光义之所以这么做，固然是因为对负隅顽抗的北汉有着深深的仇恨，但是他更担心的是北汉处于契丹势力的覆盖之下，一旦宋朝军队撤出，就很难保证这片国土的安宁。另外，晋阳自古多帝王，长期被人怀疑皇位来路不正的宋太宗，也担心此地再有帝王崛起，威胁到自己的统治。
三年之后，赵光义派宣徽南院使、都部署判并州加同平章事，大将潘美(即潘仁美的原型)驻守太原，并让他在晋阳城附近兴建新城。潘美将晋阳新城中的道路设计为丁字形，有人说为的是“钉”住龙脉，实则是潘美为了防止契丹骑兵入城而有意为之。