叶浅予在年近80岁的时候，开始写他的回忆录《细述沧桑记流年》，在书中，他真实地写下自己生命中的几个女人。他的女儿叶明明曾经说：“父亲一生，在事业是上成功的，在生活上是坎坷的，在婚姻上是不幸的。”这个不幸，不知所指为何，但其码有一点，叶浅予的感情并不顺利。以致于他的孙女曾经对他说，你这样写出来，会不会影响自己的社会声誉?
叶浅予(1907.3.31-1995.5.8)，浙江桐庐人，国画教育家，擅人物、花鸟、插图、速写等。叶浅予的舞画、漫画、速写，被誉为画坛三绝。
罗彩云是叶浅予第一任妻子。
1930年的冬天，23岁的叶浅予完婚。对方是当地望族罗家的大小姐，名叫罗彩云。
完婚后叶浅予带着罗彩云一同来到了上海。第二年，他们有了自己的儿子，第四年，他们又有了自己的女儿，还给她取了一个小名叫明明。
罗彩云生完小女儿之后，要做上海滩那风光的少奶奶，于是孩子也不带了，家务也不做了，全交给了奶妈，她自己就逛街打牌，以为这样就是上层人的生活。这样一来，家庭矛盾就不可避免了。
叶浅予回忆说：“她对我经常说的一句话是：‘钱用完了，拿钱来!’我的回答则是：‘辛苦钱来得不容易，省着点吧!’每天下班回到家，我觉得精神上总是空空荡荡的，一点生气都没有。”
就在叶浅予生活不如意，情绪低沉地的时间里，另一个女人闯入了他的生活，那就是画家梁白波。
两人都是艺术家，梁白波学油画，找了一份给杂志封面作画的工作，每发一篇能得稿费五元，生活的分艰难，很是窘迫。
(梁白波)
当时梁白波住的房子是合租，都是落难的文艺青年，其中就有萧红、萧军和端木蕻良，他们几位比梁白波住进去的早。萧红经常听朋友金剑啸提起这位画家，金剑啸还给梁白波取了一个好听的雅号：鸽子姑娘。
1935年春天，叶浅予和梁白波同时在北京参加了一个卫生宣传活动，当活动结束后所有人都已经返回。他们两个却留了下来，结伴游玩，玩了三天，白天闲游嬉戏，晚上就去听戏，在这三天里，这份由普通的朋友同事情谊慢慢上升到了爱情，他们住在了一起。
这段婚外情还是被罗彩云察觉到了，她偷偷跟踪叶浅予与梁白波约会游玩，又在报纸上找人发了一则名为《“ 王先生 ”失踪》的文章。大意是说这位“王先生”因为家庭和感情问题离家出走了，没人知道他去了哪里，因为这则消息是罗彩云发出来的，而叶浅予漫画主人公就叫“王先生”，明眼人一看就知道是怎么回事了。
叶浅予被罗彩云这种做法激怒，索性真就离家出走，与梁白波两人就去了南京定居，罗彩云气不过叫来了自己父亲和兄弟，直接跑去南京把叶浅予带回了上海。
在各方的劝说游说下，叶浅予与罗彩云达成了一个分居协议，就是继续保留夫妻名分，叶浅予每月向罗彩云提供赡养费。
1937年，抗战爆发，安顿好家人之后，叶浅予和梁白波也随之南下，在武汉的时候，梁白波爱上了别人，他是一位空军战斗英雄，名叫陈恩杰。
叶浅予想带她离开武汉，去往香港，以断她与陈恩杰的这份感情，但梁白波这一次选择了拒绝。深究原因，其中一个很重要，就是叶浅予无法给梁白波一个名分，而这，偏偏是一个女人最为看重的。
从互相吸引到如今的分道扬镳，不过短短三年。
梁白波追随陈恩杰去往了台湾，两人后来还是分了手。梁白波重新拾起画笔，在好友的报刊上画插图。上世纪六十到七十年代之交，梁白波因精神分裂症在台南的海滩自杀身亡。
1940年春季，宋庆龄特邀一位从英国来香港的华侨舞蹈爱戴爱莲举办表演会，宣传抗日，希望叶浅予在宣传方面给予支援。叶浅予如约去了，见到了舞蹈家戴爱莲。
晚年的叶先生回忆：“一个星期以后，我和戴爱莲成了熟朋友。大约过了半个月光景，我俩之间即由‘社会人’的关系升华到‘生物人’的关系，开始谈情说爱。”
这一年，叶浅予33岁，戴爱莲24岁。
1949年北平解放，叶浅予当了美协副主席。1950年文化部聘请戴爱莲当了北京舞蹈学校校长。
1950年年秋末，叶浅予参加民族访问团去新疆。冬天回到北京，戴爱莲忽然向叶予提出离婚。“这真是睛天霹雳，我大吃一惊，问她为什么，她说她已经爱上别人了。我问那人是谁，他是来我们家住过的一位青年舞蹈家。1951年，我含着眼泪，与她办了离婚手续。屈指算来，从1940年到1950年，我和爱莲在一起生活了一整整10年。我一直倾心于她对艺术执著的奋斗和追求，没想到最后我们却是这样分手。”这一次打击，让叶先生几十年后还无法释怀。
和戴爱莲离婚后，叶浅予和王人美走在了一起。
王人美是老牌影星，在中国早期无声电影时代，王人美就是大名星了。1914年，王人美出生于湖南长沙，1927年入上海美美女校就读。1931年后主演或参加演出电影《野玫瑰》、《芭蕉叶上诗》。她主演的电影《渔光曲》在1935年苏联第一届国际电影节上获荣誉奖。1950年从香港返回内地，在北京电影制片厂相继拍摄《两家春》、《青春之歌》等影片。1952被人诬蔑为曾是军统特务头子戴笠的情妇，受到极大刺激，终致发疯被送入精神病医院治疗。
王人美第一任丈夫是有老牌影帝之称的金焰。结婚时，他们一个二十岁，一个二十四岁。但在十一年后，也就是一九四五年，他们分手了。他们到底因何分手，解释各异。
王人美和金焰分手后，一个人孤单地过了十年。
其实叶浅予和王人美以前也认识，三十年代的时候两个人都在上海，王人美演戏、叶浅予画漫画。
此时的叶浅予经历了几次婚恋，也不像年轻时那么冲动了，他希望有个稳定的家。在好友的热心摄合下，王人美也同意了，结婚的时候，王人美41岁，叶浅予48岁。婚后两个人到了上海，过了几年的平静日子。
(叶、戴和女儿叶明明)
大概因为性格原因，在熟人眼里，两人一辈子都在磕磕碰碰，在王人美的回忆录里，她给叶浅予下了这样的结论：“叶浅予是个好画家，却不是个好丈夫。他除了懂画，别的什么都不懂……有好多好多让我恼火的事……叶浅予是个过于沉浸在事业里的人，当这种人的妻子，真不容易!”
叶浅予本性耿直，虽历尽磨难，仍遇事直言不讳。晚年撰写数十万字的回忆录，秉笔直书，心胸坦荡。在同辈的老先生中并不多见。
(叶浅予和王人美)
叶浅予与罗彩云生的儿子大学毕业后，将他母亲接到无锡，劝导母亲与父亲办理了离婚手续。那个十年里，叶浅予被关进秦城监狱，无力支付罗彩云的生活费用，她只得依靠儿女们供养。1970年因患重症不堪忍受疾病折磨，吞服过量安眠药身亡。
1987年4月12日晨，王人美去世。
叶浅予先生1995年5月8日因病逝于北京，享年88岁。
(右一和右三为叶浅予和梁白波)
戴爱莲2006年2月9日在北京逝世，享年90岁。