王孝杰，生于京师长安附近(雍州，后来的京兆府)的新丰县，年轻时以军功晋级。公元677年(仪凤二年)，吐蕃进攻凉州(今甘肃武威)。第二年正月，唐高宗命中书令李敬玄兼鄯州(今青海乐都)都督，代刘仁轨镇洮河，又于关内、河东募兵击吐蕃。时王孝杰为副总管，从工部尚书刘审礼领军西行。九月，唐军与吐蕃大将论钦陵战于青海大非川。唐军大败，李敬玄按军不敢救，刘审礼与王孝杰被俘，不久刘审礼伤重而死。吐蕃赞普赤都松赞看见王孝杰，因其相貌与父亲相似而厚加敬礼，得以免死归唐。武则天时，任右鹰扬卫将军。
武则天在平定徐敬业之乱以后，为了显示其“务在仁不在广，务在养不在杀，将以息边鄙，休甲兵，行乎三皇五帝之事者也”，在垂拱二年(686年)下令削减安西四镇防务，撤回镇将防人。公元688年，吐蕃趁机进入安西四镇。公元692年(长寿元年)，西州(今新疆吐鲁番)都督唐休璟请求武周女皇武则天，收复陷于吐蕃的龟兹、于阗、疏勒、碎叶四镇(即安西四镇)。因为王孝杰曾经长期住在吐蕃，知道吐蕃的内情，于是武则天以王孝杰为武威道总管，与左武卫大将军阿史那忠节率兵讨击吐蕃。十月，王孝杰率军进入西域后，击败吐蕃，接连收复安西四镇，并于龟兹置安西都护府，用汉兵3万人镇守。王孝杰以军功拜左卫大将军。
公元694年(延载元年)，王孝杰在青海湖附近，打败吐蕃大将勃论赞刃和吐蕃拥立的西突厥十姓可汗阿史那俀子，因功官拜夏官尚书、同凤阁鸾台三品，封清源县男。之后王孝杰出为瀚海道行军总管，在薛怀义的率领下攻打后突厥，但是未遇突厥军。公元695年(证圣元年)，王孝杰又任朔方道行军总管再击吐蕃，由于战事失利，被削职免官。
同年五月，契丹首领李尽忠叛唐，李尽忠死后，他的妻兄孙万荣继续领导叛军。次年(公元697年)，契丹进入河北，武则天起复王孝杰为清边道行军总管，苏宏晖为副，统兵十八万讨击契丹。三月十二，苏宏晖、王孝杰在东硖石谷(今河北唐山附近)，与契丹孙万荣遭遇，因为峡谷狭窄，前面峡谷外的契丹军队军队又非常多，王孝杰便亲率少量精锐士卒为前锋，且战且进，奋勇冲杀，冲出谷外，又将士兵排成方阵与敌人交战。但是这时苏宏晖因为敌人太多而害怕，逃走，后方的唐军主力没有跟进、没有来支援。王孝杰孤军深入，寡不敌众，坠崖身亡，他所率的少量先锋也死亡殆尽。节度官记张说返回后，武则天询问王孝杰兵败情况，张说曰：“孝杰忠勇敢死，乃诚奉国，深入寇境，以少御众，但为后援不至，所以致败。”武则天于是追赠王孝杰为夏官尚书，封耿国公。拜其子王无择为朝散大夫。派使者到斩杀苏宏晖，以示惩处。使者未至幽州，苏宏晖已经立功赎罪，最终免于诛杀。约一年的时间，唐朝张九节、杨玄基等击败契丹孙万荣(万斩)，孙万荣的首级被送到东都洛阳。武则天用李锴固等人平定契丹余党。