源乾曜早年考中进士，累迁至殿中侍御史。706年(神龙二年)，唐中宗任命十道巡察使，让他们负责考察官吏、安抚百姓等事务。源乾曜出任江南道巡察使，因政绩突出，升任谏议大夫。
711年(景云二年)，源乾曜针对朝廷荒废射礼的行为，上奏道：“圣王教化百姓，必制定礼乐以正人情。君子三年不为礼乐，则礼崩乐坏。古代择士，先观射礼，并不是取一时之乐。射可以区别正邪、观察德行，圣王对此无不重视。如今朝廷吝惜费用，而荒废射礼，甚是不妥。臣认为花费的虽是钱财，但保全的却是礼制，请陛下重开射礼。”不久，源乾曜出任梁州都督。713年(开元元年)，邠王府僚属犯法，唐玄宗便要大臣推举王府长史。源乾曜得到太常卿姜皎的举荐，入宫奏对。他神态清明，气质爽朗，回答问题有条不紊。唐玄宗大喜，任命他为少府少监，兼邠王府长史。不久，源乾曜升任户部侍郎、兼御史中丞，又改任尚书左丞。
716年(开元四年)，源乾曜被擢升为黄门侍郎、同紫微黄门平章事，但不久便与姚崇一同罢相，出任长安留守、京兆府尹。他任京兆尹三年，治政宽简，政令如一。720年(开元八年)，源乾曜再次拜相，被任命为黄门侍郎、同中书门下三品，不久又升任侍中，加银青光禄大夫。不久，源乾曜进言道：“如今权贵子弟大多任职京师，使得贤才被远放京外。臣有三子，都在朝中为官，请陛下将其中二人外放。”唐玄宗大悦，下诏褒扬源乾曜，并命朝中百官效仿。722年(开元十年)，唐玄宗采纳“国之执政，应加崇宠”的建议，厚赏源乾曜与中书令张嘉贞，让他们食实封三百户，开创唐朝宰相享有封邑的先例。725年(开元十三年)，唐玄宗封禅泰山。源乾曜持反对意见，并因此与中书令张说发生矛盾。 封禅结束后，源乾曜升任尚书左丞相，兼任侍中。
源乾曜任相期间，张嘉贞、张说、李元纮、杜暹相继执掌朝政。他为人谨慎，在重大问题上从不发表意见，只是签署公文、表示附和。729年(开元十七年)，源乾曜被罢去侍中，保留左丞相之职。八月，唐玄宗任命源乾曜为太子少师。他因官名有犯祖父名讳，推辞不受，被改任为太子少傅，并封安阳郡公。731年(开元十九年)，唐玄宗巡幸洛阳。源乾曜因年纪老迈，没有随行，留在长安养病。十一月，源乾曜病逝，追赠幽州大都督。唐玄宗废朝二日，并在洛阳南门为他举哀。