幼承家学，又拜名士高啸桐为师。
1898年，应林启之邀，赴杭参与创办求是书院、养正书塾、东城讲舍、蚕学馆4所新式学堂，任求是书院总教习。
光绪二十七年(1901年)六月，任《杭州白话报》主笔，宣传禁烟，倡导破除迷信。
光绪二十八年(1902年)一月，返福州，与表兄弟黄翼云、黄展云等创办全省第一所新学——福州蒙学堂，在校秘密组织“励志社”。后到上海与蔡元培、章炳麟等创立“中国教育会”、“爱国女学社”和“爱国学社”，出版《学生世界》杂志。翌年，赴日本留学，参加中国留学生的爱国拒俄排满活动，加入“军国民教育会”。同年夏返沪，与蔡元培等创办《俄事警闻》。十二月，以“白话道人”为笔名自办《中国白话报》，公开鼓吹以暴力推翻帝制。
光绪三十年(1904年)，出任《警钟日报》主编。
光绪三十一年(1905年)7月入东京早稻田大学主修法政，兼修新闻，有人说他是“中国留学外国学新闻学的第一人”。他先后与宋教仁、孙中山结识，开始宣扬孙中山及其领导的革命。孙中山曾书“博爱”二字相赠。后入光复会。辛亥(1911年)武昌起义胜利，万里回国，任福建都督府政务院法制局局长和共和党福建支部长。民国2年(1913年)，当选国会众议院议员，被聘为总统府秘书兼直隶省督军署秘书长。次年，袁世凯解散国会，万里回到福建。
民国时期
民国4年(1915年)，再度入京，附和袁世凯称帝，被袁委为参政院参政。
民国6年(1917年)，帝制取消，林重操旧业，与友人合办《公言报》，任主笔，敢于讲真话、揭露真相，在社会上影响很大。
民国8年(1919年)初，在上海创办《平和日刊》。
民国10年(1921年)春，在北京创办《新社会报》，自任社长，以白水为笔名，发表政论文章，揭露军阀政客的黑幕丑闻。翌年遭查封，入狱3个月。出狱后，《新社会报》改为《社会日报》出刊。
1923年10月，因刊登揭露曹锟贿选总统丑闻的文章，报馆又遭封闭，林白水再次入狱。出狱后，是年4月，冯玉祥的国民军被迫撤出北京时，《社会日报》著文称赞国民军。
1926年奉鲁军进入北京后，以"讨赤"为名镇压爱国运动，4月21日在《社会日报》登载《合肥政治闭幕》时评。他曾在报上自白“我这些说话，是着眼在国家利益，社会安危，与军阀个人，哪些党派，可是毫无关系”。
1926年8月5日登载《官僚之运气》一文，揭露潘复与张宗昌相互勾结、狼狈为奸的丑闻。当晚遭军阀张宗昌逮捕，翌晨被杀害于天桥。北伐成功后，由林森等资助扶柩回乡安葬。有《林白水先生遗集》传世。
追认为烈士
1986年，民政部追认为烈士;其女(旅美华人、美国国防大学教授)林慰君捐资在故乡建立纪念堂、纪念碑。