林俊，成化十四年(1478)中进士。初任刑部主事，升任员外郎。一次林俊上书请把妖僧继晓斩首，并把权宦梁芳问罪，宪宗大为恼火，把林俊打入诏狱中拷讯。后府经历张黻搭救林俊，也被关了进去。太监怀恩极力营救他们，林俊才被贬为姚州判官了事，张黻贬为师宗知州。当时朝廷中言路久已隔绝，他们两个这下可说是名震京城，人们为他们编了一句话，说是“御史在刑曹，黄门出后府”。不久因为正月初一发生星变，宪宗省悟过来，就恢复了林俊的官职，改派林俊到南京去了。
弘治元年(1488年)，林俊因人推荐升任云南副使。鹤庆玄化寺据说是有活佛，逢年过节这里聚集了上万名男女，争着用钱往佛面上涂贴。林俊下令烧了这尊佛像，所得的捐款用来帮助穷苦百姓偿还拖欠的款项。后来林俊又拆毁了三百六十处滥建的祠堂庙宇，木料都撤下来修筑学宫。后来，林俊又升任按察使，弘治五年(1492年)调到湖广去了。在这期间林俊因为雨雪灾异上书评议时政的得失、利弊，又说德安、安陆修建王府以及增修吉王府都工程浩大，耗费亿万钱财，百姓受不了这样的征派。所以林俊奏请按照宁王、襄王、德王府的旧例来办，一切都务必减省，不必使用琉璃砖瓦和白玉雕栏，并请将此订为律例。孝宗没有听从林俊的上奏。