房乔，字玄龄，齐州临淄人。自幼聪敏，博览经史，工草隶、善属文。玄龄少年时代随父亲去京师，当时隋文帝当国，天下宁晏，一片大好太平景象，但弱冠之年的房玄龄已经对世事有精到的分析，私下对父亲讲：“隋帝本无功德，只知诳惑百姓。而且他不为国家长久之计，诸子嫡庶不分，竟相淫侈，最终会互相诛夷倾轧。现在国家康平，但灭亡之日翘足可待。”
十八岁时，本州举进士，他获封羽骑尉。由于父亲常年卧榻重病，房玄龄一直伺奉左右，为人极其孝顺。李世民领兵过渭北，房玄龄谒于军门投靠。两人一见，便如平生旧识，马上任其为记室参军。房玄龄为报李世民知遇之恩，竭尽心力筹谋军政事务。每攻灭一方割据势力，军中诸人都全力搜求珍宝异物，惟独房玄龄四处访寻英杰人物，并把他们荐于秦王李世民。因此府中的谋臣猛将，心中都十分感念房玄龄推荐之恩，尽死力报效。
房玄龄在李世民秦王府中十多年，一直掌管军谋大事，而且于军书表奏，驻马立成，文约理全，不用草稿。高祖李渊也对房玄龄深加叹赏，对侍臣讲：“此人深识机宜，足堪委任。每为我儿（世民）陈事，必会人心，千里之外，犹对面语耳。”
后来，太子李建成斥逐秦王府宫属，房玄龄与杜如晦一并被驱斥于外任。“玄武门之变”前夕，李世民密召二人化装成道士入阁秘计，最终赞画计成。
贞观元年，官拜中书令。论功行赏，太宗以房玄龄、长孙无忌、杜如晦、尉迟敬德、候君集五人功为一等，进爵邢国公。李世民的堂叔李神通当时很不服，大言道：“义兵初起，臣率兵先至。现在房玄龄、杜如晦等刀笔之吏（这位皇叔不敢提长孙无忌，因为他是太宗大舅子；也不敢提尉迟敬德和侯君集，二人都是武将，勇武有兵，而且尉迟敬德老拳连太宗堂弟脸上也不能幸免），反而功居一等，臣心不服。”
李世民也不客气，当廷驳斥道：“义旗初兴，人各有心。叔父您虽率兵前来，也是因为惧祸怕被诛连杀掉，而且您从未亲自上阵打过仗。与窦建德交手，您全军陷没（还被俘获，只是窦建德仁义没杀他。李世民给他面子没点破）；后来刘黑闼起兵，您又望风败逃。如今论功行赏，玄龄等人运筹帷幄，安定社稷，攻比萧何，虽无汗马之劳，但能以大计居功一等。叔父您国家至亲，朕并不吝惜封赏，但不能因私情滥于功臣同受奖励！”一席话，讲得这位常败皇叔惭愧退下，好没面子。
贞观二年，房玄龄改封魏国公，为尚书左仆射，监修国史。房玄龄尽心竭诚，夙兴夜寐。加之他明达吏事，法令宽平，任人惟贤，不分卑贱，当时论者皆称之为良相。他任宰相十五年，女为韩王妃，儿子房遗爱尚高阳公主，显贵至极，但常常深自卑损，不敢炫人傲物。
贞观十八年，李世民亲征辽东高丽，命房玄龄留守京城。贞观二十三年，房玄龄旧疾复发，当时李世民在玉华宫，闻讯命人用自己的担舆把房玄龄抬入御座前，两人相见，感怀流泪，哽咽不能言。
太宗命太医去这位功臣家里疗治，每日以御膳供房玄龄食用。听说他病有好转，太宗就喜形于色；听见病情加重，太宗马上愁容顿现。
临终之时，房玄龄对诸子说：“当今天下清平，只是皇上东讨高丽不止，正为国患。主上含怒意决，臣下莫敢犯颜。我知而不言，就会含恨而死啊。”于是抗表进谏，请求太宗以天下苍生为重，罢军止伐高丽。
太宗见表，感动地对房玄龄儿媳高阳公主说：“此人病危将死，还能忧我国家，真是太难得了。”
临终之际，李世民亲至其病床前握手诀别，立授其子房遗爱为右卫中郎将，房遗则为中散大夫，使其在生时能看见二子显贵。房玄龄受遇如此，死时定当含笑。卒年七十，诚为喜丧之年。太宗为之废朝三日，赠太尉，谥曰文昭，陪葬昭陵。
房玄龄一直告诫儿子们不要以地望凌人，切勿骄奢沉溺，并集汇古今圣贤家诫，亲书于屏风上，分给各房子嗣，说：“如能留意上面的内容，足以保身成名。”
长子房遗直嗣爵，高宗初年做到礼部尚书的大官。次子房遗爱在太宗活着的时候，由于老婆高阳公主特受宠爱，他作驸马时与皇室别的女婿也大不相同，礼赐恩宠异于诸皇婿。高阳公主骄恣成性。高宗继位后，她想自己老公承袭房遗直的公爵爵位，就诬告房遗直对自己无礼（不知是讲房遗直调戏她还是不尊重她）。高宗还真当回事，让舅舅长孙无忌鞠审此案，这一下子不得了，竟审出高阳公主和房遗爱两人想要谋反的事情（其中不排除皇舅为了清除异己而使案件升级的“猫腻”）。可惜房玄龄一世忠贞，家族终为逆子恶妇所累，公主赐自尽，房遗爱伏诛，诸子都作为刑徒流配岭南（金枝玉叶，自此后都成了讲鸟语的土著了）。房遗直因父亲之功，总算保得不死，除名为庶人。可惜房玄龄本人死都死了，大红的牌位被下令从太宗庙中撤出，失掉配享的资格。