赵郡李氏南祖之后，有李善权，为后魏谯郡太守，他把家徙至谯(今安徽亳县治)，于是在安徽亳县一带也有了赵郡李氏的后裔。
李敬玄年轻时博览群书，精通礼制，后在马周的推荐下，进入崇贤馆，成为太子李治(唐高宗)的侍读。他虽生性冷峻，但研究学问非常勤勉，受到许敬宗等人的赞誉，历任西台舍人、弘文馆学士、右肃机、检校太子右中护。
669年(总章二年)，李敬玄升任西台侍郎、同东西台三品，兼任检校司列少常伯，成为宰相。他将司列(即吏部)事务委托给员外郎张仁祎，并沿袭张仁祎修正的选官程序，主持选官多年，使得铨选录用有条不紊。
672年(咸亨三年)，李敬玄担任吏部侍郎，加封银青光禄大夫，仍兼任太子右庶子、同中书门下三品，后又监修国史。
675年(上元二年)，李敬玄升任吏部尚书。他主掌吏部多年，又和赵郡李氏联宗，前后三任妻子都出身山东士族，因此在朝中势力极大。唐高宗对此很不高兴，但未公开批评他的过错。
676年(仪凤元年)，李敬玄升任中书令，封赵国公。当时，刘仁轨每有奏请，李敬玄都持有不同意见，从中阻挠，二人因此交恶。
678年(仪凤三年)，吐蕃入寇。刘仁轨知道李敬玄没有将帅之才，故意奏请道：“镇守河西，非李敬玄不可。”李敬玄极力推辞。此时，唐高宗已经厌恶李敬玄，便道：“刘仁轨如果需要朕去，朕就会主动前往，卿不得推辞。”任命他为洮河道大总管，兼镇抚大使，检校鄯州都督，率军抵御吐蕃。
同年九月，李敬玄与吐蕃大将论钦陵在青海交战，并命刘审礼为先锋。他逗挠不前，致使刘审礼孤军深入，兵败被俘。刘审礼败后，李敬玄狼狈而逃，退至承风岭，挖壕沟防御。这时，偏将黑齿常之率死士夜袭吐蕃军，吐蕃军退军，李敬玄这才得以返回鄯州。后来，李敬玄又在湟川被吐蕃击败。
680年(永隆元年)，李敬玄上表称病，请求回京，得到批准。他回京后，也未引咎请罪，便直接到中书省办公。唐高宗得知他并未生病，将他贬为衡州刺史，后又改任扬州长史。
682年(永淳元年)，李敬玄去世，终年六十八岁，追赠兖州都督，赐谥文宪。