长孙无忌所做的第三件事情就是进一步剪除魏王李泰的党羽。岑文本、刘洎、马周虽然已经去世，但房玄龄的儿子房遗爱、柴绍的儿子柴令武等李泰的支持者还在。长孙无忌最想害死的是李泰(此时李承乾已死)。但高宗素来友爱，不仅死活不肯答应，反而对这个落魄的哥哥极为照应。贞观二十三年(649)十二月，他下诏为濮王李泰开府置僚属，“车服珍膳，特加优异”。但李泰心情抑郁，于永徽三年(652)十一月病死了。李泰一死，迫不及待的长孙无忌立即就对房遗爱等人下手了。
房遗爱等人虽是李泰的支持者，但是高宗即位后，他们并无不轨的意图。因此，长孙无忌很久都没有抓到把柄。但就在李泰去世的当月，一件突发的小事引起了长孙无忌的注意。房遗爱的官职是散骑常侍，此外，他还有另一个身份——太宗的十七驸马。房玄龄是重臣，因此太宗将自己的十七女高阳公主嫁给了房玄龄的次子房遗爱为妻。
这位高阳公主是李唐宗室女眷中出了名的泼辣放荡货。她是公主，懦弱的房遗爱对她只能是惟命是从。房玄龄去世后，高阳公主挑唆丈夫与其兄房遗直分家。因为对分家(分财)结果不满，不久后她又向太宗诬告房遗直。房遗直如实向太宗禀明。太宗听了非常生气，严厉地斥责了高阳公主，从此对她不再宠爱。高阳由此“怏怏不悦”
不久后，唐宫内的一件宝贝——金宝神枕被盗。御史经过调查，发现此事与唐玄奘的高徒辩机有关，并在辩机的住所找到了金宝神枕。这位辩机不仅才华超众，而且容貌俊秀英飒，气宇不凡。高阳公主初见他便淫心荡漾，不久便与辩机私通。她送给辩机的钱财数以亿计，甚至不惜偷盗金宝神枕给辩机用。为了堵住丈夫的嘴，她甚至买了两个美女伺候房遗爱。房遗爱乐得享用美女，对妻子和辩机的勾当置若罔闻。太宗听了御史的报告后，勃然大怒，“腰斩辩机，杀奴婢十余人”。高阳公主对父亲越发怨望，甚至连太宗死的时候，她都“无戚容”。
高宗即位后，高阳公主再度挑唆丈夫与大哥房遗直“相讼”。高宗也很恼火，各打五十大板，将房遗爱贬为房州刺史，房遗直贬为隰州刺史。丈夫被贬，高阳索性更加放纵，竟与智勖等数名和尚私通，而且居然还暗中指使掖庭令陈玄运窥探皇宫内祈求鬼神祸福之事。
妻子如此，丈夫也好不到哪里去。房遗爱对高宗将自己贬官之事耿耿于怀。太宗的十五驸马、丹阳公主之夫、大将薛万彻在永徽之初也因为犯事而被高宗出名，贬官宁州刺史。他与房遗爱是好友，在入朝时，私下里对房遗爱诉说其对高宗的不满，并骄横地说：“今虽病足，坐置京师，鼠辈犹不敢动。”两人商定：“若国家有变，当奉司徒荆王元景为主。”荆王李元景是太宗的六弟、高宗的六叔。此人也是个野心家，早年曾对人说过，梦见自己手把日月。李元景的女儿是房遗爱三弟房遗则的妻子，因此与房遗爱相识，常有往来。此外还有太宗的七驸马、巴陵公主之夫、柴绍之子柴令武，借口巴陵公主生病，留在京师，暗中与房遗爱、薛万彻、李元昌等策划发动叛乱。
高宗对此毫不知情。没想到，高阳公主的恣意妄为却让房遗爱等人的阴谋意外败露。高阳公主深恨房遗直，指使小人诬告房遗直非礼自己。高宗派人调查。房遗直为了自保，便将房遗爱和高阳公主的图谋作乱的事情告诉了高宗，并说：“罪盈恶稔，恐累臣私门。”高宗就派长孙无忌调查。长孙无忌查证属实。按理说，只要处理房遗爱、薛万彻、柴令武、李元昌、高阳公主等人就可以了。但长孙无忌觉得，这是剪除一切异己势力的大好机会。因此，他罗织罪名，将所有没有参与此事的李泰余党以及所有在政见上与自己对立的人都牵连了进来。
安州都督吴王李恪，“名望素高，为物情所向”，曾是高宗太子之位的有力竞争者。长孙无忌想除掉他不是一天两天了，此时便骗房遗爱说，只要他说李恪也参与了他们的阴谋，便可以保他不死。愚蠢的房遗爱信以为真，就诬说李恪也参与了阴谋。侍中宇文节本是长孙无忌的人，但是他和房遗爱关系很好。房遗爱下狱后，他多方走动，四处打点，意图营救房遗爱，因此而得罪了长孙无忌。长孙无忌就说他和房遗爱“交通”。此外还有江夏王李道宗、左骁卫大将军执失思力(太宗的八驸马)，仅仅是和长孙无忌政见不同。但长孙无忌借口他们与房遗爱“交通”，将他们统统牵连了进来。
在长孙无忌的有意夸大之下，高宗最终做出了极为严厉的惩处。永徽四年(653)二月，他颁下诏书，房遗爱、薛万彻、柴令武皆判斩首，荆王李元景、吴王李恪、高阳公主、巴陵公主四人被赐自尽。高宗友爱，不想处死荆王李元景和吴王李恪，曾问大臣：“荆王，朕之叔父，吴王，朕兄，欲匄其死，可乎?”但长孙无忌的党羽兵部尚书崔敦礼却坚决反对。最终，荆王李元景和吴王李恪自尽。李恪临死前，大骂：“长孙无忌窃弄威权，构害良善，宗社有灵，当族灭不久!”宇文节、李道宗、执失思力三家被流放岭南。李恪的同母兄弟、高宗的六哥蜀王李愔被废为庶人。房遗直本无罪，却还是被贬为春州铜陵尉。薛万彻的弟弟薛万备则被流放交州。甚至就连已死的房玄龄的配飨都给停了。
长孙无忌这一网下去，废掉了一个宰相(宇文节)，两个公主(高阳公主和巴陵公主)，根除房氏家族、柴氏家族、薛氏家族三大豪门，除去了房遗爱、执失思力、薛万彻、柴令武四位驸马和荆王李元景、吴王李恪、江夏王李道宗、蜀王李愔四个藩王。从此，朝廷之上，再无异己。若照此情形发展下去，长孙无忌迟早会成为曹操那样的权臣。但一个女人的出现，却及时地阻击了他的野心，并最终让他命丧黄泉。这个女人就是大名鼎鼎的武则天。