林俊，字待用，福建莆田人。成化十四年(1478)进士。初任刑部主事，升任员外郎。他为人耿直，不随俗浮沉，凡是牵涉到权贵人物，尚书林聪就交给林俊办理。一次他上书请把妖僧继晓斩首，并把权宦梁芳问罪，宪宗大为恼火，把他打入诏狱中拷讯。后府经历张黹攵搭救他，也被关了进去。太监怀恩极力营救他们，林俊才被贬为姚州判官了事，张黹攵贬为师宗知州。当时朝廷中言路久已隔绝，他们两个这下可说是名震京城，人们为他们编了一句话，说是“御史在刑曹，黄门出后府”。不久因为正月初一发生星变，宪宗省悟过来，就恢复了林俊的官职，改派他到南京去了。
弘治元年(1488)，林俊因人推荐升任云南副使。鹤庆玄化寺据说是有活佛，逢年过节这里聚集了上万名男女，争着用钱往佛面上涂贴。林俊下令烧了这尊佛像，所得的捐款用来帮助穷苦百姓偿还拖欠的款项。后来他又拆毁了三百六十处滥建的祠堂庙宇，木料都撤下来修筑学宫。千崖地方的土著人刀怕愈想夺走侄儿的宣抚官，把他的大印劫去几年不还。林俊传令过去警告他，刀怕愈这才归还了侄儿的大印。后来，林俊又升任按察使，五年调到湖广去了。在这期间他因为雨雪灾异上书评议时政的得失、利弊，又说德安、安陆修建王府以及增修吉王府都工程浩大，耗费亿万钱财，百姓受不了这样的征派。所以他奏请按照宁王、襄王、德王府的旧例来办，一切都务必减省，不必使用琉璃砖瓦和白玉雕栏，并请将此订为律例。孝宗没有听从。
九年，他上书称病引退，没等批复就径自回去了。很久之后，因人推荐朝廷起用他为广东右布政使，他不接受任命；又起用他为南京佥都御史，总管操江事宜。十四年(1478)正月初一，陕西、山西地震水涌，林俊借此上书讲述自古以来宫闱、外戚、太监、权臣的祸患，并且请求孝宗停止设坛求福，减少织造供应，清理役满官员，停止工程建设，削减内府供应，节制各种赏赐，戒除游佚享乐，疏远邪佞小人，亲近贤良之人。又请求预先教育太子，进而荐举侍郎谢铎，少卿储馞、杨廉，已退休的副使曹时中，处士刘闵，说他们可以做太子的辅导官。孝宗回答说知道了。过后，林俊又屡次上书请求退休，推荐时中来接替自己，孝宗不答应。江西新昌的一个百姓王武率领一帮人做了贼盗，巡抚韩邦问不能扫除他，朝廷传令林俊前往巡视。林俊亲自走入王武的巢穴之中，王武便请为他效命，林俊把所有的贼党都给擒拿了。孝宗发布诏书就让林俊取代邦问，林俊援引朱熹代唐仲友、包拯代宋祁的往事竭力推辞。孝宗不答应他的推辞。于是林俊改定政纲，使各种政务从此焕然一新。王府征收岁禄，大都向百姓多增收一倍，因为林俊说了话才大大削减了数额。宁王宸濠贪婪、横暴，林俊却屡次抑制他。宁王请把王府改为琉璃瓦，约费银两万两。林俊说应该保持原样，不要犯上像叔段请求京边肥地、吴王所得几杖的赏赐那样的不吉利。宁王恼了，一心想找他的茬子，却没抓到他什么把柄。后来碰到皇上生日，林俊却巡查自己的部属，就上书弹劾他，林俊因此被扣发了三个月的俸禄。不久他母亲去世，他就归乡守丧去了。
武宗继位后，言官纷纷荐举林俊，江西人在朝中做官的也联名上书请让林俊恢复原职。于是武宗提升他为右副都御史，再次让他去巡抚江西，但碰上他父亲去世，他在家守丧，没能上任。正德四年(1509)，武宗起用他巡抚四川。眉州人刘烈发起叛乱，失败后逃走了，一帮不得志的人们假托他的名字四出剽掠。林俊张榜绘像缉捕，没能抓到。恰好这时保宁的反贼蓝廷瑞、鄢本恕、廖惠等跟着闹起来，气势更加猖狂，从保宁转攻巴州。林俊在华垄突然撞上了他们，就乘坐一顶轿子独自到他们营前，给他们讲解利害关系，反贼听后就围着他下拜，愿意约定时间投降。后因为大雨连绵误了约定日期，他们就又叛走，打下了通江。林俊在龙滩河打败了他们，又派遣知府张敏等人追击，在门镇子打败他们，捉住了廖惠。蓝廷瑞逃奔到陕西西乡，越过汉中三十六盘，到达大巴山。官军追上去，又把他打得大败。然后林俊移兵攻击泸州反贼曹甫，同时派人前往招安。曹甫佯装着听他们的命令，却让他的弟弟曹..一如既往地抢劫。指挥李荫斩下了曹..的人头，反贼就转移到江津，分兵七营，打算攻打重庆。林俊征调酉阳、播州的士兵增援李荫，在五年元旦那天发起围攻，打下了敌人四个兵营，活着的贼人逃入百姓家里，官军把他们全给烧死了。然后官军乘胜攻打反贼的老营，指挥汪洋等中埋伏死掉了。李荫继续进兵，在离贼营十五里的地方，曹甫带着几十个骑兵出来，碰上李荫的部队，就败逃回去。官军乘胜进兵围困敌营，俘虏及烧死的盗贼有两千多人。后来，本恕、廷瑞被永顺的土著百姓彭世麟捉住。林俊论功升任右都御史。曹甫的余党方四逃到思南后又攻占南川、綦江，窥视泸州。林俊又多调了一些士兵，派副使何珊、李钺等把他们打得败逃而去。捷报传给朝廷后，武宗用加盖玉玺的诏书奖励了林俊。
林俊在部队里，与总督洪钟议事往往意见不一。一些太监的子弟要跟着冒认军功，林俊总是不许这样。御史俞缁临阵脱逃躲避敌人，致使佥事吴景阵亡。俞缁感到惭愧不安，想嫁罪于林俊，就弹劾林俊一次次报上斩敌之功，反贼到底还没消灭掉，加上他开凿水井，拆毁寺庙，赶出僧人，迫使他们都做了贼。于是林俊前后几次受到严厉批评。等到方四败灭以后，江西反贼差不多消灭干净了，林俊上书辞谢给自己的晋级和奖赏，请求让自己以原来的职务告老还乡。诏书传下来，不允许他辞谢晋级，但准予退休，言官纷纷上书请对林俊加以留用，武宗没做任何批示。林俊起程回家的时候，江西的士绅、百姓号哭追送，恋恋不舍。当时是正德六年(1511)十一月。
世宗即位以后，起用他做工部尚书，又改为刑部尚书。他在赴京的路上就几番称病求罢，世宗不同意。他在奏章中还进而请求世宗亲近儒臣，平心静气地发号施令，以朴实、厚重的美德做天下人的榜样；即位诏书中所要革除的弊端，实行过程中不要迁就，以免使公众的舆论落空。抵达京师后，正碰上暑天，经筵停止进行日讲，林俊就拿祖宗勤学的故事来劝谏世宗。他那时已经有七十岁了，却只在朝房中居住，以示没有长期住下来的意思。他几次给世宗讲要亲近大臣，勤于研究儒学，明辨佛、道是异端，治国要节约财用等道理。朝廷中间每有大事，他一定侃侃陈论，当时朝堂内外的人们都想一睹他的风采呢。
宦官葛景等人非法谋利的事暴露后，被言官举报上去，世宗传令让司礼太监审讯，林俊说内臣犯法，法司不能审问，这样宫廷和朝廷不就一分为二了吗？请交给法司公审，以显示政治的公平、光明。都督刘晖关入监狱后，林俊认为应按结成朋党的律令来断，说刘晖与许泰罪恶相等，请将他斩首以告慰天下人。廖鹏、廖铠、齐佐、王王献被判死刑后，世宗屡次诏令缓期执行，林俊上书请立即执行。后来他又弹劾谷大用侵占民田一万多顷。世宗都没有听从他的意见。宦官崔文的仆人李阳凤向匠师宋钰索取贿赂不成，怂恿崔文把宋钰差点一棒打死了，崔文被关在刑部狱中尚未定案，已从宫廷内直接传来圣旨要刑部把他移交镇抚司。林俊押下不肯移交，极力向世宗谏诤，世宗不听。第二天林俊再次上书，世宗恼火地责成他作出书面解释。林俊说“：祖宗把量刑交给法司办理，把缉捕奸盗交镇抚司办理，镇抚司审讯以后，犯人还必须交给法司来判刑。从来没有从法司夺走尚未量刑的犯人，倒回头交给审讯者定罪的。崔文是武宗朝留下的坏蛋，他的罪恶已经不容不杀，现在又暗地里求取内宫发出诏书，我不忍心看到朝廷一百五十年来传下的法度给这些人破坏了。”世宗敬畏他说话爽直，就不再追究他了。
林俊因为年长而有德行，被世宗从乡下起用上来，他坚持正道，不避嫌疑，在屡次受到阻挠后，就上书请求退休。世宗传令加封他为太子太保，按规定配给他驿道车马、仆人和粮食。
林俊也曾屡次和世宗争议“大礼”，意见和杨廷和一致。他曾上书说皇上推尊自己的亲生父母有不容罢休的心情，也有不可改变的礼制，于是抄辑了尧、舜以来到宋理宗为止共十条往事，递了上去。等“大礼”议定后，被世宗治罪的人有的竟被杖打至死。嘉靖四年(1525)秋天，林俊在病中上书说：“古时候鞭打的刑罚，也只是羞辱罪人而已，不是非要打伤罪人的肌肤，让他去死不可，也不是用来对待士大夫的。成化时，我见到过廷杖三个大臣，都允许他们穿着厚棉衣，裹着几层毯子，就这样也要打得大半死，很长时间才能痊愈。正德年间，邪恶的刘瑾窃取权柄后，廷杖才让人脱下衣服，致使后来受廷杖的人大多被打死。我又见到成化、弘治年间，只有叛逆、妖言、强盗关进诏狱后，才传令拷问，其他类型的犯人只是说送审而已。现在对不管什么犯人都一概拷问，也不是过去有过的事。从去年至今，原先的大臣差不多给赶尽了，朝堂为之一空。我请求圣明的陛下留心，把已经离开的大臣以礼召回，对没有离去的加以安慰和留用。有着很高的德行、名望的人如罗钦顺、王守仁、吕木冉、鲁铎等人，应该安排在陛下的身边。我衰老有病，只在等死，没有别的希望，所以敢仿效古人临死上表的意思，恭敬地表达我犬马一样的忠心。”世宗收到后只是交给有关部门收存而已。过了一年，林俊病危，又上书请世宗勤于学问，光大孝行，任用贤人，虚心纳谏，善保玉体，并且预先辞谢身后的丧葬善后仪式。然后就死掉了，终年七十六岁。
第二年，《明伦大典》成书，朝廷追论林俊附和杨廷和的罪过，削了他生前的官，他的儿子就用士丧礼埋葬了他。林俊先后经历四朝，抗言敢谏，以礼入仕，也以礼退休，一生中始终保持着同样的节操。隆庆初年，朝廷恢复了他的官，又追赠他为少保，谥贞肃。