当时，有盗越皇城入西内，东厂较尉缉捕逮获，太监尚铭上报，宪宗甚喜，厚加赐赉。汪直听後大怒称尚铭违背其意独擅功。尚铭恐惧，於是偷偷向宪宗上报汪直的过错。宪宗因宠信李孜省，加上万安勾结昭德宫而独揽政权，亦称汪直浸淫，宪宗於是渐渐疏远汪直。成化十八年三月，科道交相弹劾西厂苛察，万安亦称应当罢免西厂，而刘珝持不可。宪宗竟然罢免西厂，朝廷内外官员均欣然大喜，刘珝则有惭色。
同年八月，因万安恐汪直为王越所诱，於是请求恢复使用王越，调任镇守延绥，而以都督许宁取代原职。成化十九年(1482年)六月，汪直因为与总兵官许宁不协，巡抚郭镗上报，宪宗於是调任汪直为南京御马监。同年八月，御史徐镛上疏弹劾汪直欺罔罪，并称：
汪直与王越、陈钺结为腹心，自相表里。肆罗织之文，振威福之势，兵连西北，民困东南，天下之人但知有西厂而不知有朝廷，但知畏汪直而不知畏陛下。渐成羽翼，可为寒心。乞陛下明正典刑，以为奸臣结党怙势之戒。宪宗表示深深赞许，於是罢免汪直，削王越为威宁伯，追夺诰券，编管安陆州。兵部尚书陈钺、工部尚书戴缙、锦衣指挥使吴绶被革职为民。原兵部尚书项忠恢复原职。并召还马文升，升任其为左副都御史、巡抚辽东。此後逮捕韦瑛伏诛。