倪岳出身于官宦之家，其父倪谦曾做过南京礼部尚书，谥号文僖。倪岳考中天顺八年(1464年)进士。任庶吉士，授编修职。成化年间，历任侍读学士，到东宫当值讲学。天顺二十二年(1486年)，提升为礼部右侍郎，仍在御前讲席当值侍讲。弘治初年，改为左侍郎。倪岳好学，文思敏捷，广泛综览经世之务。尚书耿裕为人方正，秉持大礼，以致礼文制度都要倪岳决断。弘治六年(1493年)，耿裕调到吏部，由倪岳代任礼部尚书。 孝宗从四川召国师领占竹来京，倪岳极力劝谏，孝宗不听。给事中夏昂、御史张祯等相继规劝，此事最终被停止。当时建造诸王府的规模宏大华丽，超过永乐年间、宣德年间的王府，倪岳奏请颁布统一的规格。他又把全国各地呈报上来的灾异，要礼部在每年年终分类奏报，一律用文字记下来，并详细按灾异发生的年月顺序排列，广泛引证于经史资料。劝勉孝宗勤于讲学，广开言路，宽免赋役，慎施刑罚，罢黜奸贪，接纳忠诚正直人士，淘汰冗员，停办斋醮，减少营造，停止滥赏。孝宗大都予以采纳。
左侍郎徐琼与皇后家有姻亲关系，图谋取代倪岳的官职。弘治九年(1496年)，南京吏部缺尚书，廷臣推荐徐琼。而皇帝下诏加倪岳为太子太保往南京赴任，而徐琼果然代替倪岳。不久调倪岳任南京兵部尚书，参谋协助处理机要事务。倪岳回到北京后，代替屠滽为吏部尚书，他严禁托人说情，不沽名钓誉，吏部政务处理公平。岳身材魁梧，表情冷峻严肃，善于决断大事。每当满朝大臣共议某事而众说纷纭时，他只说短短几句话，就使听者心悦诚服。在同级官吏中，倪岳最推崇马文升，然而在论事时并非无原则附合。他前后奏陈一百多件事，把军政中的弊端一一清理揭发。疏文出来，人们纷纷传抄。他对西北用兵之害论述尤为深刻，其疏大略说：“近年来毛里孩、阿罗忽、孛罗出、加思兰成为边境大患。他们都沿着河套活动，河套地区水草肥美，宜于屯牧，因此敌人频繁占据这块地方，不断率部入侵。