隋开皇十年(590年)，杨广任扬州总管，一住十年。及至杨广即帝位后，仍然眷恋扬州的繁华，曾三次南下巡幸。后来有一个叫项升的浙江人为取悦炀帝，进献新宫图一幅。隋炀帝诏命有司依图建造新宫。“役夫数万，经岁而成”，一座壮丽宫殿在扬州拔地而起。
据载，隋炀帝当年建造的迷楼凌云摘星，飞云宿雾，玉柱金楹，千门万户，复道连绵，幽房雅室，曲屋自通。有误入者，“目眩神迷，虽终日不能出”。炀帝游迷楼后，大喜过望，说：“此楼曲折迷离，不但世人到此，沉冥不知，就使真仙游其中，亦当自迷也。”(韩偓《迷楼记》)迷楼缘此而得名。
《迷楼记》虽然是小说家之言，但是史书中对隋炀帝后宫之盛亦多有记载。《资治通鉴》记，隋炀帝曾于洛阳西郊修建了一座方圆二百里的西苑，院内掘海修渠，沿渠建十六院供宫女们居住。“上好以月夜从宫女数千骑游西苑，作《清夜游》曲，于马上奏之。”
扬州自古繁华，风俗尚奢侈，达官贵人都以迷楼为醉人之乡，来扬州必到迷楼。“闻说到扬州，吹箫忆旧游。人来都不见，莫是上迷楼。”(包何《同诸公寻李芳直不遇》)隋炀帝为建迷楼，“费用金玉，帑库为之一虚”，建迷楼耗尽了国家财力，隋朝也很快走向灭亡。“紫髯郎将护锦缆，青娥御史直迷楼。海内财力此时竭，舟中歌笑何日休。上荒下困势不久，宗社之危如缀旒。”(白居易《隋堤柳》)迷楼从此成了一个包含着醉生梦死、荒淫无耻等意味的文化符号，后代文人多以迷楼为题材写诗作赋，希望后世以此为鉴。罗隐在《迷楼赋》中总结隋亡的教训是“迷于人”而非“迷于楼”，警告后人不要重蹈覆辙。
“炀帝雷塘土，迷藏有旧楼。谁家唱水调，明月满扬州。”(《扬州三日》)杜牧具体指出了迷楼靠近雷塘，雷塘位于扬州城北，炀帝死后即葬于此。后人为了记取这一历史教训，在迷楼的基址上建了“鉴楼”，并题匾在楼上，以喻隋朝国亡可鉴。今之楼乃清代重建，是扬州的览胜佳处。人们在登临之余，还可借以谈往事，话兴亡，论古鉴今，从中悟出一些发人深省的道理来。