窦怀贞年轻时很有声誉，衣服俭素，不好玩乐，曾担任清河县令，政绩显著。后来，他历任越州都督、扬州大都督府长史，以清廉干练著称。
706年(神龙二年)，窦怀贞升任御史大夫，兼检校雍州长史。当时，韦皇后及安乐公主干预朝政。窦怀贞却谄媚逢迎，还改名从一，以避韦皇后之父韦玄贞的名讳，自此名声渐损。后来，窦怀贞又娶韦皇后的乳母王氏为妻，并以国赩(赩指乳母的丈夫)自居。
当时，宦官势大，窦怀贞对宦官尤其敬畏，每遇审案，见到没有长胡须的，便怀疑是宦官。707年(景龙元年)，监察御史魏传弓欲弹劾内常侍辅信义。窦怀贞道：“辅常侍深受安乐公主信任，你怎敢弹劾他?”魏传弓道：“这些人败坏王纲，若能杀了他，死也无恨。”窦怀贞虽无言以对，但仍极力劝阻。
710年(景云元年)，李隆基发动唐隆政变，诛杀韦皇后、安乐公主等人。窦怀贞闻变，亲手将妻子杀死，持首级向相王李旦请罪。不久，李旦继位，是为唐睿宗。窦怀贞被贬为濠州司马，后又改任益州长史，并恢复原名。
711年(景云二年)，窦怀贞被召回朝中，任殿中监，后升任左御史大夫、同中书门下平章事，封中山县公。九月，他又改任侍中。当时，太平公主干涉政务，窦怀贞便依附于她。每次退朝都要到公主府中请安。
后来，唐睿宗为金仙公主、玉真公主营建道观，耗费数万。群臣为此劝谏不止，惟有窦怀贞极力赞成，还亲自监督造作。族弟窦维鍌劝道：“您身为宰辅，应该考虑怎么辅佐天子，怎能整日做这些事情?”窦怀贞不答，仍旧监督工事。
十月，唐睿宗登上承天门，道：“如今朝廷政教存在很多缺陷，各地水旱成灾，国库日趋枯竭，官吏日益增多，这虽是朕德行浅薄所致，也和诸位宰相不称职有关。”于是将韦安石、郭元振、窦怀贞、李日知、张说五人同时罢相。窦怀贞被贬为左御史大夫。
712年(先天元年)，窦怀贞再次拜相，担任同中书门下三品，兼太子詹事，并监修国史。七月，相士对窦怀贞道：“你将有灾难。”窦怀贞大惧，请求解除官职，入安国寺为奴。唐睿宗虽同意，但不久又任命他为尚书右仆射兼御史大夫，平章军国重事。
同年八月，唐睿宗禅位于太子李隆基，是为唐玄宗。窦怀贞升任尚书左仆射，并进爵魏国公。
当时，太平公主权倾朝野，七位宰相有五人出自她的门下，朝中文武大臣也大都依附于她，由此萌生野心，与窦怀贞、岑羲、萧至忠、崔湜及太子少保薛稷、雍州长史李晋等人密谋废立。
713年(开元元年)七月，太平公主定于四日起兵作乱，命左羽林大将军常元楷、右羽林将军李慈率军闯入武德殿，又命窦怀贞与萧至忠、岑羲在南衙举兵响应。结果尚未行动，消息便已泄露。
唐玄宗闻变，命龙武将军王毛仲率军由武德殿进入虔化门，斩杀常元楷、李慈。萧至忠、岑羲也在朝堂中被擒获、斩杀，窦怀贞逃入沟中，自缢而死。唐玄宗命人将窦怀贞的首级斩下，又将他改为毒姓。