在中国各地的风土谣谚中，"上有天堂，下有苏杭"应该算得上是流传最广的了。
而关于它的来历，目前研究俗语的人一般都只能举出较晚的书证。其中引用较多的是《七修类稿》和《古今小说》中的记录，但这已都是明代的东西。而在更晚期的苏南民歌《姑苏风光》又名《大九连环》中也唱道:"上有天堂，下有苏杭"，"杭州西湖，苏州么有山塘，哎呀两处好地方。"
但实际上"上有天堂，下有苏杭"的说法显然已有相当长的历史。
杭州在漫长岁月里仍是一个浅浅的海湾，西湖尚与大海相连。直到隋朝以后，海潮与河流携带的泥沙不断在海湾堆积，最终促成了这一地区的成陆，西湖也终于与大海隔断，形成了一个瀉湖。可见隋唐以前，杭州还默默无名。
杭州从隋大业六年(610)成为江南运河的终点，到安史之乱以后人口激增，再经由吴越钱氏的经营。钱氏治下的吴越国，不仅将杭州真正推向了江南一线城市的地位， 更避免了南唐式的悲剧，纳土归宋，以一个地方政权的悲剧命运作为句点，却为杭州在宋时期的大发展写下了开篇。
北宋时，宋仁宗称赞杭州 “地有湖山美，东南第一州”。
苏杭两地的重要名胜不少与白居易相关，公元822年，在朝中失意的白居易请求到外地任职，担任杭州刺史，成为最早发现西湖之美的大文人。仅仅三年之后，白居易再任苏州刺史，正是在此任上开辟了七里山塘街。作为“苏杭两州主”的白居易对苏杭的名声产生了深远影响。
“霅川(今湖州)殊冷僻，茂苑(今苏州)太繁雄，惟有钱塘郡(今杭州)，闲忙正适中”。尽管当时，论城市繁盛，杭不如苏，但或许正是这种”闲忙正适中”的杭州才恰好抚慰当时政治失意而倍感落魄的白居易。
白居易偏爱杭州，更明确的证据不得不提那两首《忆江南》。“最忆是杭州”与“其次忆吴宫”直白地表明了文人心迹，吴宫指的则是五代割据时期一心向佛，规避战乱的吴越钱氏，一个能写下“陌上花开缓缓归”这般诗意“便签”的特殊王室。
到了南宋，苏州人范成大在《吴郡志》中收录“谚曰：天上天堂，地下苏杭”时，“苏杭”的并称已经深入人心。尽管范成大仍然追忆“唐时苏之繁雄，固为浙右第一矣”，但苏州作为江南中心的地位在此时已然褪色了。当年不起眼的杭州，转而成为临安，做了百余年的南宋都城。
其实，苏杭受到如此推崇，无疑与其富庶有关。但这并不是"天上"的全部。环顾四周，可以发现当时江南还有不少名郡，如常州、湖州，其富庶也都是享有令誉的。常州被李华推为"关外名邦"，湖州甚至得到顾况"江表大郡，吴兴为一"的评价。那些地方都没有成为江南的冠冕，在很大程度上与其自然风光有关。