房遗直：玄龄公辞世后，房遗直承袭其“梁国公”爵位和偌大门庭。高阳公主一向讨厌这个大伯，便要驸马房遗爱与哥哥分家。房遗直不肯分出家产，还将房遗爱痛骂了一顿。高阳公主大怒，便跑到皇宫里，对父亲唐太宗告房遗直的状，说他常对皇帝口出怨言，心怀不轨。太宗调查之后，发现是高阳公主任性胡为，不禁大为恼怒，将她训了一顿。经过高阳公主的几次诬告，房遗直并不害怕，自己写奏折要求将爵位让给房遗爱，唐太宗怕坏了规矩，并没答应。唐高宗即位以后，房遗直在永徽初年间担任汴州刺史、礼部尚书，后来受到房遗爱和高阳公主谋反的牵连，被贬为春州铜陵尉。有一说是房遗爱和高阳公主谋反是房遗直告发的，但有待考证。
房遗爱：妻子为唐太宗第十七女高阳公主（后封合浦公主）。娶高阳公主后，房遗爱官至太府卿、散骑常侍，又封右卫将军。其兄房遗直在父亲死后应当以嫡长子的身份拜为梁国公，以高阳公主故，房遗爱“礼异他婿”谋罢房遗直封爵继承爵位。唐高宗即位不久，以某事房遗爱被降为房州刺史。后又因谋反事件捕杀，高阳公主亦被赐死，诸子配流岭表。
房遗则：官拜朝散大夫。房遗则事迹，史书记载甚少，亦不知有否传人。
房遗义：皇太子舍人、谷州刺史。
房遗玉：为唐高祖李渊第十一子韩王李元嘉妃。有子李训、李谊、李撰、李湛等。
另一女：适密亳二州刺史、赠安州都督郑仁恺