上世纪30年代的上海滩，有一个女子曾让民国四公子之一的张伯驹痴迷，并随手写下了一幅嵌字联，“潘步掌中轻，十步香尘生罗袜;妃弹塞上曲。千秋胡语入琵琶。”张伯驹不仅非常巧妙地将女子的名字“潘妃”写入其中，更是表达了对眼前美女的爱慕，这位“潘妃”就是后来成为张伯驹终身伴侣的潘素，当时是“江南第一美女”。
潘素，原名潘白琴，1915年生于苏州，她是清朝状元宰相潘世恩的后代。到了潘素父亲这一辈，家道中落，但潘素从小就是父母的掌上明珠。潘素母亲沈桂香是当地有名的大家闺秀，从识字开始，母亲就为潘素聘请苏州当地最有名的老师，教授她绘画、音乐、诗文等，在这期间还弹得一手好琵琶。
就在潘素大放异彩的时候，一场灾难在等着她。潘素13岁时，母亲病逝，父亲娶了继母。两年后，潘素被王氏以擅长弹琵琶为理由，将她卖到青楼挣钱。“潘素初来上海人出落得秀气，谈吐不俗，挥笔成画，
于是在五方杂处、无奇不有的上海滩，曾大红大紫过。”(张伯驹好友孙耀东)张伯驹晚年曾写过一首《瑞鹧鸪》，“姑苏开遍碧桃时，邂逅(避逅)河阳女画师，红豆江南留梦影，白滔风末唱秋词。除非宿草难为友，那更名花愿作姬，只笑三郎年已老，华清池水恨流脂。”这首诗就是描述自己当年追求潘素的情景。
1937年两人婚后，潘素在张伯驹的栽培下，成为了著名的青绿山水画家。潘素跟过当时很多大师画，比如朱德甫、汪孟舒、陶心如、祁井西等。更关键的是，张伯驹家中各种古代画作应有尽有，这使得潘素能天临摹，绘画水平突飞猛进。张大千在看过潘素的画作后，称赞道“神韵高古，直逼唐人，谓为杨升可也，非五代以后所能望其项背。”1958年，潘素的山水画《临吴历雪山图》曾被作为礼物送给英国首相;临摹隋代展子虔的《游春图》，在中国文化代表团访问东京时，将其赠予了日本天皇。
跟张伯驹结婚20年后，潘素终于扬名天下，这次不是她曾经的美貌，而是那高超的绘画水平。潘素是幸运的，张伯驹也是幸运的，如果没有遇上张伯驹，就没有她的幸福生活和出色的书画成就;如果没有潘素的出现，张伯驹的家庭生活就不会那么和谐多彩。