685年(垂拱元年)，张嘉贞考中明经科，被授为平乡县尉，不久因受案件牵连免官回乡。
702年(长安二年)，侍御史张循宪出任河东采访使，上表举荐张嘉贞。武则天召见张嘉贞，面试其才，擢升他为监察御史。此后，张嘉贞历任兵部员外郎、中书舍人、秦州都督、并州长史。他治政严肃，深受官吏的敬畏。717年(开元五年)，突厥九姓内附唐朝，散居在太原以北地区。张嘉贞便上表朝廷，请求驻扎重兵，加以震慑。唐玄宗于是在并州设置天兵军，任命张嘉贞为天兵军大使。718年(开元六年)，张嘉贞入朝。这时，有人诬告张嘉贞谋反，唐玄宗欲将告发者治罪。张嘉贞认为此举会阻塞言路，上奏赦免其罪。唐玄宗非常高兴，许诺将来要拜他为宰相。张嘉贞趁机奏道：“当年马周徒步入长安，拜见太宗皇帝，得到重用，但五十岁便去世。假如太宗晚提拔马周几年，这个人才就算错过了。如今陛下想要重用臣，就请陛下早一点拜臣为相，不要等臣衰老了。”唐玄宗道：“你且返回并州，我一定尽快召你回京任相。”
720年(开元八年)，唐玄宗罢免宋璟与苏颋的宰相之职，征召张嘉贞回朝，擢升为中书侍郎、同中书门下平章事。五月，张嘉贞又升任中书令，加银青光禄大夫。他善于决断，长于奏对，却因脾气急躁、刚愎自用，遭到舆论的鄙薄。后来，张嘉贞之弟张嘉祐也入朝担任金吾将军，兄弟二人并居将相，一时显赫无比。722年(开元十年)，张嘉贞随唐玄宗巡幸洛阳。洛阳主簿王钧为求取御史之职，在洛阳给张嘉贞修建住宅，结果事情败露。唐玄宗大怒，命人杖毙王钧。张嘉贞为求灭口，私下催促行刑者加速行刑，又将罪责推给御史大夫韦抗、中丞韦虚心，使得韦抗二人遭到贬黜。后来，秘书监姜皎获罪，张嘉贞怂恿唐玄宗施以廷杖，致使姜皎伤重而死。不久，广州都督裴伷先也因罪下狱，张嘉贞又请求施以廷杖。张说反对道：“士可杀不可辱。此前姜皎犯罪，如果该杀，那就公开处死，不应让他当庭受辱。姜皎之事已无可挽回，现在对待裴伷先，不能再犯错误。”唐玄宗采纳了张说的意见。张嘉贞很不高兴，私下指责张说道：“你话说的太重了。”张说道：“谁也不能当一辈子宰相，我们如果开了贵臣受杖的先例，难保将来也有受辱之时。”
张嘉贞与张说的矛盾由来已久。起初，张说担任兵部侍郎，位居员外郎张嘉贞之上。张嘉贞拜相后，超越张说，并对他毫不谦让。张说对此心中不满。723年(开元十一年)，张嘉祐贪赃事发。张说趁机劝说张嘉贞，让他素服待罪。唐玄宗贬张嘉贞为豳州刺史，命张说接任中书令。张嘉贞这才知道上了张说的当，为此非常后悔。724年(开元十二年)，张嘉贞升任户部尚书、益州长史，并代理都督之职。不久，唐玄宗在中书省设宴，命张嘉贞与宰相一同预宴。张嘉贞对张说痛恨不已，在席间谩骂不止。源乾曜与王晙极力排解，这才将张嘉贞劝走。725年(开元十三年)，唐玄宗赐死宠臣王守一。张嘉贞因与王守一交情深厚，也被贬为台州刺史。不久，张嘉贞又担任工部尚书、定州刺史，掌管北平军事，封河东侯。张嘉贞赴任时，唐玄宗亲自赋诗勉励，并命百官到上东门外饯行。729年(开元十七年)，张嘉贞患病，返回洛阳就医。回到洛阳后，他已双目失明，病情加重，唐玄宗特派御医前往诊治。同年八月，张嘉贞病逝，终年六十四岁，追赠益州大都督，赐谥恭肃。