早期事迹
王玄谟自幼性格孤傲，被族人比作曹魏时期的本家王凌。
408年(东晋义熙四年)，王玄谟在徐州投靠刘裕，被辟为从事史，深受赏识。后来，王玄谟任车骑将军府参军，率兵增援颍川太守李元德，结果在与北魏的交战中大败而回。
424年(景平二年)，谢晦出任荆州刺史，任命王玄谟为南蛮行参军、武宁太守。426年(元嘉三年)，谢晦兵败被杀，王玄谟却得到赦免。
北伐失利
433年(元嘉十年)，王玄谟出任镇军将军府中兵参军、领汝阴(今安徽阜阳)太守，后又任辅国将军府司马、彭城(今江苏徐州)太守。
448年(元嘉二十五年)，王玄谟认为彭城乃是水陆要冲，请求以皇子统领州事，宋文帝遂封武陵王刘骏为安北将军、徐州刺史。
449年(元嘉二十六年)，宋文帝打算北伐中原，众大臣争相献策，其中以王玄谟最为积极。宋文帝听了王玄谟的进言，十分振奋，对人道：“听了王玄谟的话，让人有封狼居胥的想法。”
450年(元嘉二十七年)七月，宋文帝命王玄谟为宁朔将军，随辅国将军萧斌北伐，并命江夏王刘义恭节度诸军。王玄谟率宋军主力围攻滑台(今河南滑县东南)，但却久攻不下。围城期间，王玄谟不听部下劝告，丧失攻城良机，又搜刮民财，大失人心。同年十月，北魏皇帝拓跋焘率兵来救滑台，王玄谟全军覆没，大败而回。萧斌得知后，欲杀王玄谟。后因沈庆之固谏，萧斌也担心杀戮大将引起军心混乱，于是命王玄谟驻守碻磝(今山东茌平西南)。
451年(元嘉二十八年)正月，刘义恭认为碻磝不易守城，于是命王玄谟撤回历城(今山东济南西)。王玄谟在撤退途中，遭到魏军追击，大败而回。同年七月，王玄谟因北伐兵败之罪，被罢免官职。
讨伐叛逆
453年(元嘉三十年)，太子刘劭篡位，弑杀文帝，任命王玄谟为冀州刺史。同年三月，孝武帝刘骏传檄四方，讨伐刘劭，王玄谟命济南太守垣护之出兵相助。刘劭被平定后，王玄谟被封为徐州刺史，加都督衔。
454年(孝建元年)，荆州刺史南郡王刘义宣、江州刺史臧质等起兵谋反，王玄谟受命讨伐，拜辅国将军、豫州刺史，驻军梁山。王玄谟统帅诸军，大破臧质，因功进前将军，加都督，封曲江县侯。不久，中军司马刘冲之诬陷王玄谟与刘义宣相勾结，孝武帝于是以“多取宝货，虚张战簿”为由，罢免了王玄谟的官职。
整顿侨郡
455年(孝建二年)，王玄谟被起复为豫州刺史。当时，豫州有夏侯方进作乱，王玄谟讨斩夏侯方进，被改任为宁蛮校尉、雍州刺史。
457年(大明元年)，王玄谟以雍州境内所统“侨郡县无有境土，新旧错乱，租课不时”为由，上表请求土断，整顿侨郡。郡县流民因不愿属籍，于是散发流言，说王玄谟打算造反。王玄谟上表皇帝，告以真相。孝武帝并不相信王玄谟造反一事，并派吴喜前去抚慰。
后来，王玄谟回朝，担任金紫光禄大夫，领太常。
公元461年(大明五年)，孝武帝命王玄谟以起部尚书职总领修建明堂之事。不久，王玄谟改任平北将军、徐州刺史。当时，徐州一带正闹饥荒，王玄谟拿出自己私家储藏的物资进行赈济。
受命辅政
464年(大明八年)，王玄谟升任领军将军。同年闰五月，孝武帝驾崩，太子刘子业继位，王玄谟为顾命大臣，管理外监事务。后来，王玄谟因性情刚直，被排挤出朝，外任青、冀二州刺史。
465年(泰始元年)，刘子业诛杀颜师伯、柳元景等人，征召王玄谟回朝任领军将军。王玄谟的子侄都劝他称病推辞，以保全性命。王玄谟道：“我受先帝厚恩，怎么能害怕灾难”于是毅然回朝，并屡次犯颜直谏，请求缓刑戒杀，以安民心。
不久，蔡兴宗命人劝说王玄谟举兵起事，废黜刘子业。王玄谟思之再三，不敢举事，回复道：“这个现在不宜进行，不过我不会出卖你们。”
同年十一月，湘东王刘彧诛杀刘子业，登基称帝，加王玄谟镇军将军。
晚年生活
466年(泰始二年)正月，王玄谟出任车骑将军、江州刺史。同年九月，改任左光禄大夫、开府仪同三司，护军将军。不久，王玄谟又出任车骑将军、南豫州刺史。
467年(泰始三年)五月，王玄谟再次担任左光禄大夫、开府仪同三司。此后，王玄谟又加特进，领护军将军，进车骑将军。
468年(泰始四年)二月，王玄谟病逝，终年八十一岁，谥号为庄。