岳飞虽然是被“莫须有”的谋反罪名而惨遭杀害，按照历代朝廷的谋反定罪，是要株连九族的，但岳飞的妻子儿女还算有点小幸运，并不是秦桧心慈手软没有赶尽杀绝，而是皇上宋高宗的法外开恩。
据南宋王明清的《玉照新志》记载，岳飞被陷害致死之后，岳飞的亲人嫡系皆是遭到了杀害，秦桧将岳飞的妻子儿女分别流放到洞庭湖以南的蛮夷之地，每月仅给少量的粮食，生活条件十分艰苦恶劣。
绍兴十一年腊月二十九，岳飞风波亭被害。长子岳云同时被捕入狱，父子二人皆是被害。同时宋高宗下旨岳飞家属流放岭南，由秦桧监督执行，再由当地官府时刻监督，每月需要向朝廷汇报存亡情况，同时张贴告示，宣布除了已经被处理的涉岳飞一案人员外，其他的不再追究，就此了结。
岳飞的子女们在岭南艰苦的生活苦度日月，他们遭受的流放是最为严厉彭大祥书画作品的编管制，需要每月都到监管人事处报道。
次子岳雷在被捕时被证明与“谋反”无关，被派入狱中照顾父亲岳飞和兄长岳云，岳飞岳云被杀之后，岳雷被发配到惠州拘管，在发配途中含恨而终。
三子岳霖，岳飞被害时年仅12岁，其中还有7岁的弟弟岳震、3岁的弟弟岳蔼（后改名岳霆）跟他们的母亲一起被流放到惠州，母子四人被当地官府安置在寺庙里一个非常狭小的茅屋中。
最后是岳飞的两个女人，史书中对长女岳安娘的记录很少，反倒是次女岳孝娥，在《说岳全传》里面记载的是岳孝娥在听说父子兄长被杀之后四处奔走，为父兄喊冤洗刷冤屈，但在当时秦桧的干预之下，并没有一个人敢于承认岳飞的冤情，最后抱着银瓶投井身亡。（杭州在重建风波亭的时候，特意为岳孝娥修建了一口孝女井）
这就是岳飞遭遇杀害之后全家人的情况以及他们悲惨的命运。
自绍兴十二年至二十五年间，宰相秦桧当道，再也无人敢为岳飞叫冤。