据《宋史》记载“宋宣和元年（1119）五月，都城暴水，（林灵素）登城厌胜，遭到役夫袭击，徽宗始知其为众所怨。他又与皇太子争道，终触怒徽宗，以为太虚大夫，斥归故里。一说：他登城治水，水势不退，回奏令太子设四拜。是夜水退尽，京城之民皆仰太子圣德，其因而上表乞归。九月，全台上言：“灵素妄议迁都，妖惑圣听，改除释教，毁谤大臣。十一月，与宫祠，温州居住。”
翻译过来就是：《宋史》说：宣和元年五月，京城遭遇洪水，徽宗让林灵素作法退水。
跟上一次祈雨一样，林灵素设坛作法，洪水却没有退，见状，那些守城当兵的、官府衙役、四城百姓都追着林灵素打，高呼他是妖道。
林灵素向徽宗皇帝启奏说：“这场大水是由太子而导致的，我退不下去，太子可以。您可以命太子登台，焚四炷御香，拜祭天地四神，大水自然就退了。”
徽宗皇帝于是命太子赵桓焚香退水。
赵桓依照林灵素交代，跪在祭台，向天拜了一拜，水果然后退了一丈，再拜，又退了一丈。祈祷了两个时辰，大水缓缓退去。
等到天黑以后，大水彻底消退了。
京城的百姓都感戴太子退水有功，福泽黎民，拥护太子赵桓呼声更高。
也就是这一场大水之后，林灵素失宠，被徽宗贬回了老家温州。
赵鼎的《林灵素传》记载有这样一段话：
先生上奏云：臣初奉天命而来，为陛下去阴魔，断妖异，兴神霄，建宝箓，崇大道，赞忠贤。今蔡京鬼之首，任之以重权；童贯国之贼，付之以兵卫。国事不修，奢华太甚。彗星所临，陛下不能积行以禳之；太乙离宫，陛下不能迁都以避之。人心则天之舍。皇天虽高，人心易感也，故修人事可应天心。斗玺一，大数不可逃，岂知有过期之历。臣今拟暂别龙颜，无复再瞻天表。切忌丙午、丁未甲兵长驱，血腥万里，天眷两宫不能保守。陛下岂不见袁天罡《推背图》诗云：两朝天子笑欣欣，引领群臣渡孟津。拱手自然难进退，欲去不去愁杀人。臣灵素疾苦在身，乞骸骨归乡。又降诏不允。冬，全台上言林灵素妄议迁都，妖惑圣听，改除释教，毁谤大臣。先生闻之，大笑，呼诸弟子并监宫官吏曰：前后宣赐之物，约三百担，自去年用千字文字号封销，籍书分明，一无所用，可回纳宫中。只唤一童子携衣被，行出国门，宣唤不回。帝赐宫温州。《东都事略》云：宣和元年冬十一月乙卯，杞昊天上帝于国坛，大赦天下，放归山。
这个记述中的童子，就是林灵素的弟子张如晦。
赵鼎记云：
先生顷在京时，虽宰执亲王不与交谈，亦不接见宾客，惟虚静天师至，即开门对话终日终宵。此外则东西皇城使张如晦者，旧在通真宫，出则同行，坐则同席。宗师法教，独张一人得其妙也。既还乡，则同居永嘉。”
方志中对林灵素死亡记载得很有意思：1119年的中秋这天，（林灵素）对如晦说：“可於扈屿灵官山劚地五尺，见石龟蛇则葬我，葬毕宜遂去。”这夜三更时分，援笔题曰：“四十五年务生，浮名薄利峥嵘。要说神仙的路，中秋月下三更。”这时风清月白，忽闻打雷声，稽首而化。徽宗皇帝见遗表，诏守臣治葬。挖地五尺时，果真有石龟蛇出现。棺木一下塞穴中，就“雷电大作，云雾晦总，失其所在。”随葬的有徽宗皇帝御赐的七宝数珠，雷霆八角印及冠剑。靖康元年钦宗皇帝派使者来取随葬了的数珠，将要挖开坟，这时“天昏地暗，百怪杂出。使者惊慌失措，跪地叩谢，天才放亮，只见所要的宝珠明当当地已挂在上。
关于林灵素回乡，也有不同的版本，在这里，择一家之言，以飧读者：
（1119年夏）林灵素遂后上表乞请退职还乡，宋徽宗不允。
秋九月，全台向徽宗进言林灵素妄改迁都，妖惑圣聪，改除释教，毁谤大臣。
林灵素听后大笑，知道又是蔡京等奸臣在作祟，于是招来诸弟子和监宫官吏说：“皇帝前后宣赐给我的物品大约值三百担，自去年用千字文字号封销，记录分明，丝毫未用，可以交回宫中。”
林灵素入朝一场，期间堪称缔造了旷世的辉煌，临离开时，没有带走皇帝赏赐给他的一草一木，一线一纱，也算得上是两袖清风了。
这样看，林灵素并不是一个贪官。
然后，林灵素走出通真宫，离开京城，只带了些衣被，皇帝宣唤挽留他也不回，宋徽宗只好赐他居温州道观。
他的弟子张如晦也辞官随他而来。十一月，林灵素到达温州。这个张如晦，就是前文所说的童子。
宣和二年八月的一天，林灵素突然携带上表拜见太守，乞求他上交给皇帝。然后和州官、亲族、邻里诀别：“尘世不可久恋，况且大祸将至，我当尽快辞世。”
在八月十五日中秋月圆之夜，林灵素对弟子张如晦说：”我的法门只传授给你，尚有六印九符并六丁妙用神机，全部授予你，世代只传一人，不可轻泄。另有七宝素珠一串，如果皇帝来取，