沈之岳年轻时曾加入中共在上海的地下组织，并化名李国栋(一说化名沈辉)，经西安到延安，进入中共红军大学，毕业后成为中共中央政治局的秘书，所以有沈之岳曾任毛泽东秘书之说。沈之岳后随叶挺赴皖南收编新四军，直至新四军被国民党反动派袭击并屠杀，沈之岳转至戴笠系统的军统局、担任东南特侦站站长。
沈之岳赴台后，初任司法行政部调查局副局长，之后调任国防部情报局副局长及国民党中央第二组副主任，后擢任调查局局长。国民党保密局大陈岛站站长沈之岳派遣特务潜入大陆成功，偷拍了几张奉化、溪口的照片献给蒋介石，蒋介石大悦，沈之岳被提升为司法调查局长。
1951年9月，国民党当局成立浙江人民反共游共总指挥部于大陈岛，以胡宗南(化名秦东昌)任总指挥兼浙江省政府主席，沈之岳(化名王明)为政治部主任兼政务处长。
1963年，他以情报局副局长的身份潜入澳门，执行指挥暗杀刘少奇的行动。当年刘少奇出访柬埔寨，情报局下达暗杀任务;从金边机场到皇宫，即刘少奇预定的下榻处，只有一条公路，路基很高，两侧都是民宅，情报局于是透过管道租到一处民宅，再挖地洞到公路下面，埋好炸药，等刘少奇车队经过时引爆。但一场倾盆大雨，将本就不结实的路基冲塌，挖洞埋炸药的那段更是整体下陷，计划最终败露，这起暗杀刘少奇计划，现仍列永久机密，存放军情局档案中。
1963年4月20日，沈之岳潜至澳门，部署对大陆的行动破坏。当时沈之岳化名孙子超，在澳门新新酒店、同盟酒店各开一个房间，实际上住在中二组澳门特一组的驻地。相关资料表明，沈之岳行踪被大陆完全掌握，华南办事处将资料直送北京。当时，大陆高层曾考虑将沈之岳从澳门捉拿来归案，给蒋介石父子以颜色看看，后后采取较缓和的做法，由公安部通过外交途径，通知澳葡当局，澳葡当局逮捕了一批特务，将沈之岳驱逐回台湾。沈之岳因此受到撤职查办的处分。
1964年，沈之岳在蒋经国的极力推荐下，出任调查局局长，一手建立了调查局的制度，并培育大量有别于军统、中统的高素质新时代特务，规定调查局干员必须有大专以上学历、最好能通一、二种外语等等。
沈之岳被台湾尊称为调查局之父;他指挥过国民党特务在非洲抓捕叛徒;他主持粉碎了在日本的台湾共和国临时政府，让台独分子恨之入骨;他逮捕过李登辉;他迫降过辜宽敏;他审问过李敖，李敖反而写书夸他;
他外貌和蔼可亲，却被形容作人面兽心;他善于理财却分文不取，一生两袖清风;他娶了出身伞兵飞虎部队背景的京剧名伶。
他晚年到大陆治病，据说邓小平、胡耀邦亲往探视;他被怀疑为共产党在台湾至死未被发现的两大卧底之一。
沈之岳1994年2月病死于台北。