夏侯玄是征南大将军、荆州牧夏侯尚之子。黄初六年(225年)，夏侯尚去世，夏侯玄承袭其爵位昌陵乡侯。夏侯玄少时便有名声，在弱冠时担任散骑黄门侍郎。因在和毛皇后之弟毛曾同坐时面露不悦，而被魏明帝曹叡记恨，贬其为羽林监。
景初三年(239年)，少帝曹芳即位，由夏侯玄的表亲、大将军曹爽(夏侯玄为曹爽姑姑的儿子)辅政，夏侯玄升任散骑常侍、中护军。太傅司马懿曾经与他谈及时事，夏侯玄提出了“限制中正官权力”、“除重官”、“改服制”等政治制度，被司马懿赞同，然而司马懿却以时机不成熟、缺乏贤才去具体实施为由没有施行他的建议，这一点受到了夏侯玄的责备。后任征西将军、假节、都督雍州、凉州军事。正始五年(244年)，夏侯玄与曹爽一起策划了失败的骆谷之役，大失人心，为时人所嘲笑。
正始十年(249年)，夏侯玄被剥夺兵权，入朝任大鸿胪，不久改任太常。夏侯玄为司马氏所抑制，郁郁不得志。自从被征回朝廷后，从不结党营私，也未蓄养美姬。 据《魏氏春秋》记载：当初，征蜀护军夏侯霸(夏侯玄的叔叔)与夏侯玄一同被征召，夏侯霸将南逃至蜀汉，想要叫夏侯玄与他一起离开。夏侯玄说：“我怎么能为了苟存自己而投降敌国呢?”于是接受诏命前往京师。嘉平三年(251年)，司马懿去世后，侍中许允对夏侯玄说：“没有可以忧虑的了!”夏侯玄却叹息道：“士宗(许允字)，你怎么看不清时事呢?此人(指司马懿)尚且能够以世代的交情善待我，而子元(司马懿长子司马师字)、子上(司马懿次子司马昭字)是不会容忍我的。”
嘉平六年(254年)二月，中书令李丰与皇后父光禄大夫张缉密谋杀大将军司马师，让夏侯玄代替他为大将军，张缉则为骠骑将军。李丰暗中将此事告诉黄门监苏铄、永宁署令乐敦、冗从仆射刘贤等说：“你们几个人在内廷，不法的事很多，大将军这人严厉刚毅，反复强调，张当的下场可以作为鉴诫。”苏铄等应诺听从他的命令。司马师秘密得知了他们的计划，于是请李丰来相见。李丰去后，立即被杀。这件事下交给主管部门，逮捕了夏侯玄、张缉、苏铄、乐敦、刘贤等人，押送给廷尉监管。夏侯玄到廷尉，不肯写罪辞。钟毓自亲自审理此事。夏侯玄严肃的责被钟毓道：“我有何罪?你要作为公府的令史来诘问我吗?那供辞就请你代我做吧!”钟毓因为他是名士，名节高而不可屈服，而在当夜就写出了罪辞，装作流泪交给夏侯玄看。夏侯玄看完后，只是点头而已。之后，廷尉钟毓上奏说：“李丰等人阴谋胁迫君主，诛杀宰辅，大逆不道，请依法论处。”曹芳于是会集公卿百官廷尉来合议，众人都同意钟毓所判处的结果。曹芳下诏说：“齐长公主，是先帝遗留在人间的骨肉，宽恕她三个儿子的死刑。”于是，夏侯玄、张缉、乐敦、刘贤等，都被诛灭三族，其余的亲属迁到乐浪郡。三月，夏侯玄在东市被处斩，临斩时，仍然神色不变，举动自若，从容受刑，时年四十六岁。