韦思谦的祖先自雍州杜陵(今西安杜陵)南迁，客居襄阳(今湖北襄阳)，后又迁徙到郑州阳武(今河南原阳)。八岁时母亲去世，因孝顺而出名。考中进士后，多次升任后做到了应城令，一年后参加选考。韦思谦在任上，因为政绩考核为末等，依照过去的制度，这类情况大多不能晋升。吏部尚书高季辅却提拔他做监察御史，因此出名。他曾经对人说：“御史走出国都，如果不能动摇一方，震慑州县，就是失职。”
公元650年(永徽元年)十月，中书令褚遂良低价购买中书省翻译官的田地，大理少卿张睿册认为其无罪。韦思谦上书弹劾此事，降褚遂良为同州刺史、张睿册为循州刺史。等到褚遂良官复中书令，韦思谦被降职为清水县令。左肃机皇甫公义任检校沛王府长史，提拔韦思谦任同府仓曹，后多次升迁，任右司郎中。
公元682年(永淳元年)，历任尚书左丞、御史大夫。唐高宗认为他很有才能，每次召他进宫谈话，即时十分疲惫，也要身子靠着殿前的栏杆，说上好几个时辰才结束。案情不明、证据不充分、一时难于判决的案件，繁杂的事务，每次都要他参与裁决。当时武候将军田仁会与侍御史张仁祎有矛盾，捏造罪名诬陷张仁祎。高宗在朝堂上询问张仁祎，张仁祎十分害怕，回答的语无伦次。韦思谦上前说："臣与张仁祎曾是同僚，相当了解这件事的缘由。张仁祎为人懦弱而不能为自己申辩。如果田仁会迷惑圣上的视听，使张仁祎不正常地获罪，那就是为臣事君不尽心了。请让二人为此事对证。”他言辞流利，含义鲜明畅达，高宗非常赞同。
韦思谦在御史台任职，每次见到王公，从不行跪拜礼。有人劝他 ，他回答说：“雕、鹗、鹰、鹯，怎能与众禽为伴?为何要行跪拜礼来亲近他们?况且身为谏官，本来就应独立。”他刚任左丞时，上奏说：“陛下为各部门选择人才，没有合适的人选就空缺不授。现在您不吝惜好的锦缎，让我来裁制它(言下的意思就是把好的职位拿给他充任)，这是陛下知臣之深，也是臣尽命以报的时候。”他在任上整顿制订法纲，朝廷肃然。
683年(弘道元年)，唐高宗驾崩，太子李哲继位为唐中宗，武则天以太后摄政，掌握实权。
684年(嗣圣元年)，中宗意图独立执政，武后将他废黜，改立皇弟豫王李旦为唐睿宗，进一步掌握权柄。九月，武后侄武承嗣、武三思屡劝武后寻事诛杀皇室近支韩王李元嘉、鲁王李灵夔等以绝宗室之望，韦思谦和中书侍郎刘祎之都因害怕，唯唯诺诺不说话，只有中书令裴炎坚持力争以为不可。后转任宗正卿，恰逢改换官名，改任司属卿。武则天又分别设置左右肃政台，任命韦思谦为右肃政大夫。大夫过去和御史行对等之礼，惟独韦思谦坐着接受对方的拜见。有人为此提出意见，韦思谦说：“朝廷班列，本有等级差别，为何无原则地行事呢?”
公元685年(垂拱元年)，赐爵博昌县男，升任凤阁鸾台三品。二年，接替苏良嗣任纳言。
公元687年(垂拱三年)，上表告老请求辞官，武则天答应了，加授太中大夫。
公元689年(永昌元年)，死于家中，追赠幽州都督。
唐德宗年间，韦思谦得以续图凌烟阁。