林灵素真人还乡是因为“妄议迁都”而触帝怒，遂贬为太虚大夫，斥还温州，明嘉靖《永嘉县志》载：“(林灵素)因大水临城，上疏言，国难将至，请迁都避之。”这话终于给死对头蔡京抓住了把柄，于是就组织满朝言官弹劾妖言惑听。岂不知这正是林灵素真人以预料到之后的靖康之乱，而暗示徽宗迁都已做准备，林灵素真人明知迁都会为自己招来祸患，但丝毫不在意自己的荣辱，依旧劝谏徽宗迁都，并直白的说出了“切忌丙午、丁未，甲兵长驱，血腥万里，天眷两宫，不能保守”之语，并引《推背图》中所言“两朝天子笑欣欣，引领群臣渡孟津。拱手自然难进退，欲去不去愁杀人”的句子来加以佐证。可惜徽宗未能领悟，后来果然如林灵素真人所言，最终徽钦二帝被掳，徽宗最后身死五国城。据《东都事略》记载说林灵素在真人临走之时，将历年皇帝所赐之物，共三百担，一一按照千字文的顺序封箱编号，交回宫中，只带了一个道童，拿着自己的衣被回乡。丝毫不贪恋一铢之财。
最终跟着林灵素回乡的还有一位亲传弟子名叫张如晦，在京城时就一直跟随林灵素学道修习，当林灵素真人临终之时，传法脉与他，并将六印九符等物也一起传于张，并嘱咐张说：“今则别去，他时神霄再会。”说完命张取来纸笔写下一诗：“四十五岁劳生，浮名满世峥嵘。只记神霄旧路，中秋月上三更。”接着亲自上香一柱，空中突然一声霹雳，林灵素真人即坐化而去。