蒋光鼐一生中有三位夫人，育有12个子女。
蒋光鼐之子蒋建国回忆说：“大哥蒋庆瀛早逝，1947年出生的最小的妹妹蒋定桂曾是一名纺织工人，以前五毛钱纸币上印着的纺织女工推纱锭的图像就以她为原型。”
关于“五角钱纸币上纺织女工原型”，蒋建国回忆说：当时记者去纺织厂采集素材的时候，正好看见她。她当时是挡车工。我父亲是纺织部长，是她亲自写信要求周总理安排她去纺织厂当工人的。现在她说话，都嗓门特大，因为习惯了工厂那种闹哄哄的环境。
长子蒋庆瀛和长女蒋定闽是指腹为婚的第一任妻子谭妙南所生。谭夫人因积劳成疾去世，嘱蒋光鼐将庆瀛抚养成人。然而，蒋庆瀛被人玩催眠术导致精神失常成为父亲一生的遗憾。“我的大哥在上海读中学的时候, 被同学家的人玩催眠术, 没醒过来，弄得神经错乱， 还专门送到日本去治疗也没治好。他上学时, 年年考第一, 本是个聪明绝顶的人, 身体强壮、活泼可爱。说来也怪, 他得病后有时发脾气打人, 但从来对我们弟弟妹妹都很好, 乐呵呵的。”
蒋建国说，大哥的病是父亲心中的隐痛, 古人云“不孝有三, 无后为大”，当时的人很看重这一点, 李济深伯伯就有诗云：“有子万事足, 无职一身轻。”
蒋光鼐全家福
蒋光鼐1948年因支持创办莞旅中学，将自己居住的广州西关逢源北街87号大楼用作校舍，由于新居面积狭小而让庆瀛和大嫂等亲人回家乡虎门居住。庆瀛回乡后遭受不公平对待，于1952年早逝，死时父子未能见上一面。
蒋定闽的童年时在乡间度过的，当时父亲跟随孙中山在外闹革命，对家庭无暇顾及。因此，她童年的生活是艰苦的。她曾就读于徐悲鸿担任系主任的国立中央大学美术系，后又师从过鲍少游，黄君璧，李凤公等名家，有很扎实的功底。同期同学梅健鹰和宗其香等都是新中国成立后在中央美术学院和中央工艺美术学院任教的著名教授和画家，因为抗战的缘故，她只好中断学业。抗战胜利后，才毕业于广州中山大学哲学系。
在抗战期间，她曾从曲江(广东临时省会)化妆通过敌人设置的关卡，到达已被日军占领的香港，从银行的保险箱中将家里的财物取出，运回内地。她最担心的是1932年淞沪抗战期间著名画家蒋兆和在战场上为父亲画的那幅让上海乃至全国人民都非常熟悉的油画，她不愿这件珍贵的作品毁于日寇手中。她潜入家中，将藏在屋顶隐蔽处的油画取了回来。她的勇敢和机警让许多人吃惊和赞叹。
由于她是家中长女，要照顾弟弟妹妹们，无暇顾及个人的事情，所以很晚才结婚。新中国成立后，她留在香港，20世纪80年代初移居美国洛杉矶，2002年病逝于美国西雅图。
谭妙南去世后，在远离家乡虎门的北海，蒋光鼐意外地收获了爱情。在休整期间，他结识了刘慕雨。然而，刘慕雨不能生育。婚后，刘慕雨从北海抱养来一个女孩，她为这个原名包建民的女孩改名为蒋定苏。蒋光鼐和刘慕雨将蒋定苏视为己出，让她接受了最好的教育。1965年，定苏调任山东师范大学外文系副主任，后来晋升为教授。海外华侨曾经赠送了一枚珍贵的化险石戒指给蒋光鼐将军，后来蒋光鼐将此枚戒指转赠给了定苏，给予超越亲生女儿的疼爱和关怀。
不能生育是刘慕雨心中最隐秘的痛，在刘慕雨看来，似乎只有蒋光鼐再娶妻生子延续香火才能让她安心。1929年，刘慕雨精心策划了一场“相亲短剧”。有一天，刘慕雨相约蒋光鼐去黄家花园散布，挽着丈夫的手臂，在花园的竹林中款款而行。那天游人稀少，小径通幽，静得只闻清风掠过竹叶的飒飒声音。远处有一池不大的碧水鱼池，伫立着一穿细花布衣的年轻女子。刘慕雨陪着蒋光鼐围着碧水鱼池转了一圈，蒋光鼐与年轻女子不期而遇地互相注视，哪个叫黄晚霞的年轻女子目睹了蒋光鼐这个英俊倜傥军官风采。回到家中，刘慕雨和盘托出这场“阴谋”内容，蒋光鼐拒绝了夫人的好意，并连连用荒唐这个词来评价夫人的行为。在刘慕雨不屈不饶的劝说下，终于慢慢摧毁了蒋光鼐拒绝再婚的城堡，军人终于妥协了，两年后，黄晚霞走进了蒋光鼐的生活。
1980年11月24日，黄晚霞逝世。儿女们在她身上洒满了鲜花。儿女们知道，母亲一生爱花，她人生中的第一次劫难，就是为了采摘山野中盛开的指甲花而被土匪掠走，孩子们希望这些美丽的鲜花伴她同行。
“如今，父亲的直系孙辈有大约20人，现在分散在北京、重庆、香港等地，有的定居国外。” 蒋建国说：“父亲总是一个很慈祥的长者，他到晚年那么大岁数的时候还跟外孙在地毯上翻跟头。他让外孙骑马。”