岑羲年轻时考中进士，累迁至太常博士。691年(天授二年)，宰相岑长倩被诬谋反，下狱而死。岑羲因是岑长倩的侄子，也受到牵连，贬为郴州司法参军。
在担任金坛县令期间，岑羲因政绩突出，与弟弟长洲县令岑仲翔、溧水县令岑仲休并称江东三岑，受到宰相宗楚客的赞誉，又被江南道巡察御史荐为汜水县令。
704年(长安四年)，武则天命宰相举荐官员。凤阁侍郎韦嗣立便推举岑羲，并道：“只可惜他被伯父岑长倩所连累。”武则天道：“只要他有才干，就不会受到连累。”于是任命岑羲为天官员外郎。此后，刘守悌、裴惓等受到亲属牵连的官员相继获得擢升。
705年(神龙元年)，唐中宗复位，岑羲被任命为中书舍人。不久，侍中敬晖打算上表朝廷，请求降封武氏诸王，请人起草奏疏。岑羲执笔而书，言辞恳切，因此惹怒武三思，被贬为秘书少监。
707年(景龙元年)，太子李重俊发动政变，失败被杀。侍御史冉祖雍趁机诬陷相王李旦与太平公主曾与太子同谋，请求中宗审问调查。岑羲与中书侍郎萧至忠上表劝谏皇帝，力保李旦与太平公主。后来，岑羲监修《中宗实录》，将此事记述下来。
708年(景龙二年)，岑羲改任吏部侍郎。当时，一同负责选官的吏部侍郎崔湜、太常少卿郑愔、大理少卿李元恭都大肆受贿，以贪腐著称。只有岑羲恪守正道，受到舆论的称赞。
710年(景云元年)，唐中宗驾崩，韦皇后立温王李重茂为帝，是为殇帝。岑羲被擢升为右散骑常侍、同中书门下三品，成为宰相，不久又持节巡抚河南道。
不久，李隆基发动唐隆政变，杀死韦皇后，废黜唐殇帝，拥立相王李旦为帝，是为唐睿宗。岑羲出任陕州刺史，后历任刑部尚书、户部尚书，并监修国史。
712年(先天元年)，岑羲再次担任同中书门下三品，并因此前保护睿宗的功劳，进拜侍中，封爵南阳郡公。同年八月，唐睿宗禅位于皇太子李隆基，是为唐玄宗。
当时，太平公主权倾朝野，岑羲与窦怀贞、崔湜全都依附于她，日夜谋划作乱。宰相刘幽求和禁军将领张暐计划除掉他们，但是事情泄露，都被流放岭南。
713年(开元元年)，太平公主与窦怀贞、岑羲、萧至忠、崔湜及太子少保薛稷、雍州长史李晋等人密谋，打算废黜唐玄宗，另立皇帝。
同年七月，太平公主定于四日起兵作乱，命左羽林大将军常元楷、右羽林将军李慈率军闯入武德殿，又命岑羲与窦怀贞、萧至忠在南衙举兵响应。结果尚未行动，消息便已泄露。
唐玄宗与岐王李范、薛王李业、宰相郭元振商议后，命龙武将军王毛仲率军由武德殿进入虔化门，斩杀常元楷、李慈，并闯入朝堂，擒斩岑羲、萧至忠。岑羲死后，家产也被抄没。