在叶浅予一生的四次婚姻中，他与王人美生活的时间最长。他们是1955年结婚的，当时叶浅予47岁，王人美41岁。
王人美，本名王庶熙，湖南浏阳人。在她很小的时候，母亲就撒手人寰。1926年考入湖南第一女子师范学校。她父亲本来是想让她女承父业，当个中学教师。不料父亲病故后，这个家中最小的女儿，无人照料，就跟随哥哥到了上海，考入黎锦晖的歌舞学校学习。毕业后加入黎锦晖的明月歌舞团，与黎莉莉、薛玲仙、胡笳被誉为明月歌舞团的“四大天王”。后来参加演出电影《渔光曲》，一举成名。
叶浅予和王人美虽然在1930年代就认识，但涉及谈婚论嫁的事，还是1955年经朋友撮合而成的。他们经过几个月的交往，叶浅予就提出结婚的事。当时王人美正在长春拍片，给叶浅予回信，谈了自己的想法。因为她与著名影星金焰有过一段失败的婚姻，她不希望重蹈覆辙，只盼新的婚姻能够彼此间有“更深了解，事先考虑、准备如何克服困难，以期达到更好的合作”。可是性急的叶浅予并没有考虑得更细些，在王人美拍完电影，回到北京之后，就在北京的四川饭店花了200元办了酒席，请朋友们聚会一下，就结婚了。
婚后，叶浅予告诉王人美，他已经破产了，他的全部财产只有200元。家里的日用品只得王人美掏钱购买。婚后才一个多月，他们就因一件小事顶撞起来，甚至王人美还提出离婚的事。这就让叶浅予开始慎重了。叶浅予发觉王人美性格急躁，她作为家里的内当家，希望自己有独立处置事务的活动空间，不希望丈夫干涉更多。王人美承认叶浅予是个好画家，却不是个好丈夫，而是个“倔老头”。
“文革”结束后，他得到补发工资三万多元。家里当时也需要钱，可是他却无偿地捐给了中央美院。到他们搬家需要钱时只得跟荣宝斋借钱。像这样大事，他都不同妻子商量，王人美对他的这种大男子主义非常不满。本来王人美性格内向，叶浅予又专注于他的事业，彼此间很少交流。有时他们一起到公园去，叶浅予找地方坐下后，就拿出速写本画速写，无暇顾及与她的交流。他们就这样磕磕绊绊地过日子，感情不冷不热，但在遇到“文革”的磨难时，还能互相体贴和关照。
1980年为了找房管所换房，王人美急出病来，患了脑血栓之后，叶浅予只得顺从、忍让，使得他们夫妻过了几年平静的生活。1986年他们所住的甘雨胡同要搬迁，他们家只好暂时分居在中国画院和王人美所在的北影招待所。或许是距离产生美吧，夫妻分居两处，每周互相看望，倒也显得亲近了很多，显得感情甚笃，很有情趣。不料，这一年的冬天，王人美突然摔倒，患了大面积脑溢血。在医院治疗了几个月，不见收效，终于在1987年3月病故。