岳飞被供奉于庙宇，享千年的烟火;秦桧被铸成铁人，在岳飞墓前长跪不起。然而在当时，岳飞作为朝廷钦定要犯，名声不如后来显赫，与之迅速划清界限的有之，检举、揭发者有之，为求个人荣华富贵而落井下石者亦大有人在。
先说说他的僚属姚岳。南宋初，陕西陷落，姚岳逃奔四川，于绍兴二年(1132年)考中流寓进士(在寄居地考上进士)。当时，岳飞任知潭州兼权荆湖东路安抚使、都总管。岳飞在一次偶遇姚岳后，对其非常赏识，立即辟为幕僚，引为亲信。后来，岳飞获罪，姚岳却极力避嫌，矢口否认曾为岳飞属官。为了进一步与岳飞划清界线，他还神经兮兮地向宋高宗上书请求将地名中有一“岳”字的岳州改为纯州，其节镇岳阳军改为华容军。不想，宋高宗竟然“从谏如流”，接受了这一堪称“史上最荒唐的建议”。《宋史·本纪·高宗》载：“(二十五年六月)癸卯，以言者追谮岳飞，改岳州为纯州，岳阳军为华容军。”看来，有怎样的昏君，就有怎样的佞臣。
姚岳之类，在南宋初的官场，不是少数，有些人甚至助纣为虐地迫害岳飞家属。据南宋王明清《玉照新志》记载，岳飞被杀害后，除岳云随父遭冤杀外，其余子孙亲属被流放到蛮荒之地，朝廷每月仅给少量米粮，条件恶劣，生活艰苦。即便是对于这样遭受灭顶之灾的家庭，当时仍有一位漳州知州上书，建议朝廷取消对岳飞亲属仅有的一点米粮供应，以斩草除根，真是卑鄙龌龊至极。难怪王明清在书中评论道：“士大夫为官爵所钓，用心至是，可谓‘狗彘不食其余’矣!”
不过，还是有一些一身正气的士大夫，敢于向邪恶说不。
枢密院编修胡铨上书宋高宗，请求斩秦桧，为岳飞鸣冤雪耻，结果被秦桧贬谪海南。布衣刘允升、知浃纷纷上书朝廷，要求释放岳飞，被秦桧及其党羽下大理寺处死。上至朝官同僚，下至布衣百姓，他们都齐了心似的为岳飞鸣冤，明知山有虎，偏向虎山行，他们并无丝毫畏惧和退缩，这既体现了他们不惧强权的勇气，也体现了岳飞在士大夫和老百姓心目中的地位。
处于中间地带的人又如何呢?如韩世忠，作为与岳飞、张俊同为南宋“中兴四将”之一的他，与岳飞交情还不如同张俊深厚，张俊助秦桧构陷岳飞，韩世忠却始终不相信岳飞谋反。《宋史·岳飞传》载，岳飞系狱，韩世忠抱不平，秦桧说：“岳云写给张宪的策反信虽未查明白，其事体莫须有。”韩世忠说：“莫须有三字何以服天下?”这说明，韩世忠虽不偏袒岳飞，但他心存正义，希望看到证据。
就连羁押岳飞的狱卒都伸出正义之手。狱卒隗顺，非常同情岳飞遭遇，岳飞遇难后，他将岳飞尸体偷偷抱出，掩埋于杭州栖霞岭，他担心被发现获罪，一直不敢声张。临死之际，他才把儿子叫到跟前，告诉儿子偷埋岳飞一事，还说：“将来岳飞必有昭雪的一天，到时朝廷若雪此冤案，必悬赏求岳飞遗骨，届时你可向官府如实相告，坟上植有两棵橘树，岳飞身上有他原来佩戴的玉环，棺上铅筩刻有‘大理寺’字样，均是我埋葬时特意做的记号。”绍兴三十二年(1162年)，宋孝宗继位，随即为岳飞平反，依礼改葬，不知原葬处，果然悬赏求尸。隗顺的儿子报告，才使岳飞之墓堂堂正正地出现在后人面前。