崔玄暐年轻时以学行著称，深受叔父秘书监崔行功器重。662年(龙朔二年)，崔玄暐考中明经科，累迁至库部员外郎，后授天官郎中、凤阁舍人。
701年(长安元年)，崔玄暐升任天官侍郎。他性情耿直，从不私下接受官员请托，因此受到权贵的忌恨，改任文昌左丞。不久，武则天对崔玄暐道：“你调职之后，官吏纷纷设斋庆贺，这会放纵他们的贪欲。所以现在我让你官复原职。”于是重新任命崔玄暐为天官侍郎。
703年(长安三年)，崔玄暐担任鸾台侍郎、同凤阁鸾台平章事，兼太子左庶子，次年又改任凤阁侍郎，加银青光禄大夫。此前，来俊臣、周兴等酷吏贪图封赏，诬陷良善，抄没数百家。崔玄暐拜相后，上表皇帝，为他们陈述冤屈。武则天感悟，将这些人全部赦免。
704年(长安四年)，宋璟弹劾张昌宗图谋不轨，崔玄暐也多次进言。不久，武则天患病，避居深宫，不肯召见宰相，只由张易之兄弟侍疾。崔玄暐进言道：“太子与相王足以侍奉汤药，宫廷禁地，不宜异姓人随意出入。”武则天道：“我十分感激您的厚意。”但却不肯采纳。
705年(神龙元年)，崔玄暐与桓彦范、敬晖、张柬之、袁恕己等人趁武则天病重，发动兵变，拥立皇太子李显登基，是为唐中宗，因功擢升中书令，封博陵郡公。武则天对崔玄暐道：“别人都是受人推荐，只有你是朕亲手提拔的，你为什么要这么做?”崔玄暐道：“这正是为了报答陛下。”
同年四月，唐中宗任命术士郑普思为秘书监，崔玄暐极力劝谏，但不被采纳。后来，武三思多次在中宗面前进谗。中宗采用明升暗降之计，封崔玄暐为博陵郡王，罢去其宰相之职，只让他在每月初一十五上朝面君。不久，崔玄暐又出任检校益州长史，并代理都督之职。
706年(神龙二年)，唐中宗听信武三思谗言，贬崔玄暐为均州(今湖北丹江口)刺史。后来，武三思又诬陷崔玄暐等人与驸马王同皎同谋作乱。崔玄暐又被贬为白州(今广西博白)司马，削去封爵。七月，武三思暗中宣扬韦皇后淫乱后宫之事，并嫁祸给崔玄暐等人。唐中宗大怒，将崔玄暐流放古州。崔玄暐在流放途中病逝，时年六十九岁。
710年(景云元年)，崔玄暐被追复官爵，赐谥文献。718年(开元六年)，唐玄宗将崔玄暐的灵位放入唐中宗的宗庙中。782年(建中三年)，唐德宗又追赠崔玄暐为太子太师。