王罴生性耿直刚强，处事公平，深受乡里敬畏。北魏太和年间，王罴担任殿中将军，后改任雍州别驾。他为政清廉，疾恶如仇，勤于公事，受到刺史崔亮的赏识。后来，崔亮改任定州刺史，举荐王罴为长史，但是未获批准。515年(延昌四年)，南梁攻打硖石(今安徽凤台西南)，崔亮担任征讨都督，再次举荐王罴为长史。朝廷见崔亮屡次举荐王罴，认为王罴必有可用之处，便予批准。王罴随崔亮攻克硖石，累立战功。这时，南岐州、东益州等地的氐羌作乱。王罴奉命率五千羽林军镇守梁州(今陕西汉中)，讨平叛军，因功进封右将军、西河内史。王罴却不肯接受任命，人们很奇怪的问他：“西河是个大郡，俸禄优厚，你为何不愿去呢?”王罴道：“如今洛阳的好木材，都出自西河郡。我若去西河，达官显贵建造宅第，所需木材必定要求我办理。私下采办，我能力不足，若向百姓征索，又会违背法律，所以我不肯去。”
525年(北魏孝昌元年)，南梁将领曹义宗围困荆州。王罴与别将裴衍率军驰援，大破梁军。当时，荆州遭逢战乱，百姓急需抚慰，朝廷便任命王罴为抚军将军、荆州刺史，并封定阳县子。526年(孝昌二年)，曹义宗再次围攻荆州，并决水灌城，荆州城差点被淹没。朝廷因正逢内乱，不能派兵救援，便赐王罴铁券，让他坚守荆州。不久，城中粮尽，王罴便与将士们煮粥分食，同甘共苦。王罴每次出战，都不披铠甲，高声大呼道：“荆州是孝文皇帝设置的，上天如果不保佑国家的话，就让箭射中我王罴的额头;否则，我王罴一定要打败敌人。”三年之中，王罴历经多次恶战，始终不曾受伤。528年(孝昌四年)，曹义宗撤军而去，王罴因功进封霸城县公。
529年(永安二年)，北海王元颢在洛阳称帝，任命王罴为左军大都督。不久，元颢兵败被杀，孝庄帝认为王罴曾接受元颢的官职，便改封他为岐州刺史。当时，南秦州多次叛乱，朝廷便让王罴代理南秦州的军政事务。王罴到南秦州后，将叛军首领收为心腹，然后将反叛者全部诛杀。王罴又对叛军首领道：“你的党羽全都死了，你还活着干什么?”命人将他斩首。从此，南秦州再也没有人造反，朝廷又让王罴掌管秦州军政。后来，王罴又改任泾州刺史。这时，关中宇文泰四处征兵，要入京勤王。王罴尚未赴任，便去投奔宇文泰，被任命为大都督，镇守华州(今陕西华阴)。
535年(西魏大统元年)，宇文泰立元宝炬为帝，建立西魏。王罴被任命为仪同三司、车骑大将军、华州刺史，又加封万年县伯。不久，东魏高欢率军攻打潼关(今陕西潼关北)，西魏军心恐慌。王罴安抚将士，击退敌军，加封侍中、开府、骠骑大将军。不久，高欢又派韩轨、司马子如从河东出兵，夜袭华州，王罴没有察觉。当时，王罴正命人修缮州城，梯子还留在城外尚未撤下，东魏军便顺着梯子爬入城中。王罴正在睡觉，忽听人声喊叫，不及穿衣，便披发赤脚，手持木棍，大叫着冲出门外。东魏军大惊，退到东城门。王罴趁机召集士卒，将东魏军赶出城去。537年(大统三年)，东西魏爆发沙苑之战。当时，东魏兵力强盛，宇文泰认为华州是要冲之地，便遣使慰劳王罴，让他加强守备。王罴命人回复道：“有我这个老罴拦在这里，高欢这个貆子休想过去。”高欢到达华州后，对王罴道：“你为何不赶快投降?”王罴大叫道：“此城就是我王罴的坟墓，生死都在这里，想死的就来吧!”高欢竟不敢攻城。
538年(大统四年)，王罴改镇河东，并累功进封扶风郡公。八月，宇文泰兵败河桥。降将赵青雀趁机在长安作乱，以致西魏政局不稳。王罴打开城门，对城中士卒道：“我奉命镇守河东，要以死报效朝廷。你们若有别的企图，可以来杀我;如果有谁担心守不住城池，我也任由他出城。能够和我同心的，可一同固守。”城中将士见王罴坦诚相待，都无二心。不久，宇文泰回军，平定赵青雀叛乱，又征拜王罴为雍州刺史。540年(大统六年)，柔然进犯，前锋抵达豳州(今陕西咸阳北部)。右仆射周惠达担心柔然深入，于是征调兵马守卫京城，并在大街小巷挖掘壕沟陷井，又叫王罴到长安商议对策。王罴拒绝赴命，对使者说道：“如果柔然攻到渭北的话，我王罴自会率军击败他们，不用劳烦国家的兵马。为什么要使京城人心惶惶?这完全是周惠达这小子怯懦造成的。”不久，王罴又还镇河东。541年(大统七年)，王罴在河东去世，追赠太尉、都督、相冀等十州刺史，赐谥为忠。