海瑞和宋朝的包拯一样，是中国历史上清官的典范、正义的象征。
然而，就是这位被称为“海青天”的海瑞，在私生活上也有鲜为人知的另一面。据有关史料记载，海瑞是回族人，祖上从福建晋江垵边迁居海南琼山海厝。他四岁丧父，由母亲一手带大。海家三代单传，家庭关系比较简单。但是，海瑞的妻妾问题却显得迷雾重重，异常复杂。
海瑞的侄女婿梁云龙曾写过《海忠介公行状》一书，其中有海瑞“三妻两妾”之说。根据这部书，史学家黄仁宇在《万历十五年》中说，海瑞“曾经结过三次婚，又有两个小妾”，这个说法为许多著作所继承。但也有人说海瑞娶过六七次妻妾，甚至还有“九娶”的说法，并说“瑞已耄，而妻方艾”。意思是说海瑞耄耋之年还娶年轻漂亮的女孩子做小老婆。虽然这些说法有些过分，但是可以看出，海瑞妻妾成群则无疑是不可抹杀的事实。
海瑞的第一位夫人许氏，为海瑞生有两个女儿。嘉靖二十五年(1546年)，海瑞32岁时，这位许夫人就被海瑞休弃了。在那个年代，一个女人被休弃是莫大的羞耻，何况这时候已经育有两个女儿，让一个女人离开自己生养的孩子必然也是莫大的痛苦。而且，似乎许夫人还在经济上吃了亏，为此，她还告过海瑞。
许夫人到底是什么原因被休，她犯了“七出”中的哪一条?从“以大故所出妇许氏”的提法来看，许夫人似乎有过什么大差错，但是所谓的“大故”到底是什么呢?也许是没有生男孩。海家三代单传，如若无后，如何面对列祖列宗?这是比较靠谱的理由。是否如此已经无从查考。不过许夫人年纪尚轻，生育问题似乎不成理由。
另一种原因，也是许多人曾经猜测的，可能是她与海瑞的母亲海太夫人之间的婆媳矛盾有关。这样的事，在著名的汉代长诗《孔雀东南飞》里有过详细的描述，在单亲家庭中是一种比较常见的现象。问题在于，许夫人如同不幸的刘兰芝，海瑞是不是也有焦仲卿那样的感情?历史材料显示，海瑞虽然不是焦仲卿，但他是个著名的孝子，他永远无条件地站在母亲这一边，这就决定了海家的媳妇处于相当难堪的位置。
海瑞和许夫人离异之后，又娶了潘氏夫人。但是，潘夫人到海家之后不到一个月又被休弃，休弃的理由不得而知。
接着海瑞又娶了王氏夫人。王夫人比较争气，在海瑞到达淳安之前两年为海瑞生了个儿子，取名中砥。海瑞到淳安任上之后的当年，王夫人又为海瑞生了个儿子，取名中亮。王夫人还生了个女儿。
嘉靖四十三年十月，海瑞被调到京城户部任职，海太夫人不喜欢到寒冷的北方去生活，海瑞没有办法，只好让王夫人携二男三女服侍海太夫人从海瑞在江西兴国县令的任上南归，而海瑞则带了两个仆人北上任职，这一年海瑞50岁了。
嘉靖四十四年十月，海瑞上了震惊朝野的尖锐批评嘉靖的“直言天下第一事疏”，即《治安疏》。因此，他在次年二月下狱，两个儿子就在这一年相继死去，一个11岁，一个9岁，而海瑞此时已经52岁了。
三年之后，也就是隆庆二年(1568年)七月二十四日晚上，王夫人突然病世，但也有人说是自杀身亡的。《万历十五年》中说王夫人“在极为可疑的情况下死去”。在王夫人去世前11天，海瑞的小妾韩氏上吊自杀。这两件事联系起来，使海瑞的家庭生活变得十分扑朔迷离。韩氏为何自杀?王夫人到底因何而死?这些事虽然已经成了历史之谜，但是，这使海瑞在官场上有了非常不好的名声。这时候的海瑞在南京任正四品的通政司右通政之职，他是半年多前才到南京来的。
可以想见，这一连串的打击对于海瑞和他的家庭来说，会是怎样的残酷和无情。妻死妾亡，海瑞的心态如何呢?据他写给朋友的一封信件透露，海瑞说自己“每一思及，百念灰矣”，可见他未必是人们想象的那种无情之人，对妻妾也不是没有感情。而酿成这样的家庭悲剧，症结可能还是出在已近80岁高龄的海太夫人身上。
海瑞还有一妾邱氏，史料中只说她为晚年的海瑞生了一个儿子，但孩子长到三岁就夭折了。海瑞于隆庆四年申请退休，获准后离开南京回家乡琼山闲居，从此离开官场15年，直到万历十三年(1585年)，已经71岁的他又重新回到官场，到南京任都察院右都御史及吏部右侍郎之职。邱氏可能就是海瑞在家乡闲居时所纳的小妾。
万历十五年十月十四日，海瑞病逝，他死的时候有“二媵四仆”。“媵”即侧室，也就是小妾。这二妾中有一个是邱氏，另一个则是有人所说的“瑞已耄，而妻方艾”的那个“方艾”的女孩子。如果这样说，海瑞就应该有过三个小妾了。
海瑞此时已经73多岁了，“人活七十古来稀”，头发斑白，年迈力衰，以一老迈年高之身纳一个年轻漂亮的女孩为妾，虽然这在古代也不算是什么稀奇事，但毕竟也不是什么光彩的事。这无疑给当朝的政敌们留下了难以磨灭的口实，因此，许多政敌纷纷以此大加攻击是显而易见的了。
当时，海瑞身边至少已有一妾，他还要纳一个年轻漂亮的女孩为妾的正当理由是什么呢?也许是为了传宗接代。但是纳妾是要花钱的，这钱从哪里来?不仅娶的时候要花钱，进门后的用度也要花钱，而作为两袖清风的清官海瑞怎么会有大把的银子频频纳妾呢? 明代纳妾的身价如何呢?在明代，如果要赎买一个色艺俱佳的名妓为妾，通常需支付千两白银。明末的那些秦淮名妓，恐怕还不止这个价。
按明代小说《金瓶梅》中说，收婢女为妾约需白银50两，如果是讨一个妾，就要百两以上，一般需要300两银子光景。这样的话，海瑞用在娶妾上的费用就不会少，即便只有三次，怎么说也总要三四百两银子。这对只取有限的法定俸禄的清官海瑞来说，不能不说是一个非常沉重的负担，与他的生活贫困不能说没有关系。要知道，这些费用差不多是当时一个七品县令10年的工资了。
据有关史料记载，海瑞从嘉靖三十二年十二月出任福建南平县教谕，到隆庆四年四月申请退休，海瑞当了十七八年的朝廷命官，回到家乡琼山时用“禄入”所得120两银子买了一间房子。海瑞又买房子又纳妾，那么，他作为一个两袖清风的清官，怎么会有这么多的银子花销?恐怕也只能成为历史之谜了。