吕祖俭字子约，婺州金华人，是吕祖谦的弟弟，像学生一样受学于吕祖谦。监明州仓，将要上任，恰逢吕祖谦去世。按照吏部四选注授官员差遣的规定半年不上任的为逾限过犯，吕祖俭决心打算服满为期一年的丧期，朝廷同意了他的请求，诏官员上任逾限以一年为期限，以吕祖俭开始。
吕祖俭守满一年丧赴铨选，丞相周必大告诉尚书尤袤招用他，吕祖俭已调任衢州法曹而后来前往拜见。潘时经略广东，想要征召他为属官，吕祖俭辞谢。不久因侍从郑侨、张杓、罗点、诸葛庭瑞推荐，朝廷召见他授予籍田令。
中丞何澹亲生父亲的继室周氏死，何澹打算穿哀悼伯母的丧服，传送太常礼院百官杂议。吕祖俭写信给宰相说：“《礼》曰：‘作为亻及的妻子，是为白的母亲。’现在周氏不是中丞父亲的妻子吗？打算不称她为母亲而称什么呢？中丞作为讽谏的御史台长官，却以不孝，使百官僚臣如何看待这件事。”被任命为司农簿，不久以后请求补任外官，通判台州。宁宗即皇帝位，任命他为太府丞。
当时韩..胄渐渐当权，正言李沐议论右相赵汝愚要求罢免他。吕祖俭上奏“：赵汝愚也不能没有过错，但是没有到像议论的人所讲的那样的地步。”韩..胄愤怒地说“：吕寺丞难道要干预我的事情吗？”适逢祭酒李祥、博士杨简都上书为赵汝愚辨冤，李沐都一一弹劾罢免他们。吕祖俭就用袋封缄上书奏事说“：陛下刚开始政治清明，选拔重用忠良之士，然而未执行多久，朱熹是耆宿儒臣，有所议论，就赶快使他离开朝廷；彭龟年是旧时学者，有所议论，就赶快答应他离开朝廷；至于李祥阅历多而练达世事、笃敬诚实，没有偏向，这是众人所共同信服的，现在又终于被斥责放逐。我恐怕从此天下有应当说的事情，必将会相视以为告诫，闭口不敢进言的风气一旦形成而不容易纠正过来，这难道对国家有利吗？”
吕祖俭又说“：现在的敢于讲话的士人，他们所犯难的不是在于得罪君王父亲，而在于忤逆权势。姑且以我所知道的讲一讲，难莫难于议论灾异，但言而不讳的，是因为其事与权势之人无关。如果是皇帝御笔之降，朝廷不敢难违，御史台、谏院不敢深加议论，给事中、中书舍人不敢固执己见，原因是因为此事有关贵要宠臣，很担心乘间激发而受牵连得罪他们。所以凡是劝导皇帝事从中出的人，大概想借皇帝的声势，以逐渐窃取威权而已。近来路人皆知，左右亲近大臣，在官吏的进退升降、任免之际，间或得到显达的人，车马辐凑，门庭如市，凭借权力宠爱，摇撼朝廷。我担心事态积渐而扩及，政归宠臣，不在朝廷，凡所引荐进用的都是其所亲近的人，凡所倾覆陷害的都是其所厌恶的人，其只是侧目畏惧，不敢指责，而且阿附顺从，内外表里的祸患，必将出现。我因李祥获罪而深究及此，这难道是矫激自取罪戾吗？实在是因为士气颓废之中，稍稍忤逆权臣，则离去不再回来。私下担忧太甚，很担心陛下势单力孤，而相与维持国家的人渐少。”
奏疏已上呈，祖俭在家待罪。有圣旨，吕祖俭与人互相勾结欺罔皇帝，贬谪到韶州居住。中书舍人邓阳交奏，祖俭罪不至贬。皇帝御笔批示“：祖俭意在没有君主，罪责当杀，流窜贬逐已经是宽恩他了。”恰逢楼钥给皇帝进读吕公著元..初年所上陈十事，因此进言说：“像吕公著是国家大臣，还可十代宽宥其家，前不久太府寺丞吕祖俭因言事得罪，他是吕公著的孙子。现在把他投贬岭外，万一倘若死去，圣朝有杀害言官的名声，我私下替陛下怜惜。”皇帝问“：吕祖俭所说的是什么事？”楼钥然后才知前不久对吕祖俭的贬谪不是出自皇帝的意思。韩..胄对他人说：“再有救助吕祖俭的，当把他安置在新州居住了。”众人不敢说话。有人对韩..胄说：“自从赵丞相离开朝廷，天下已经愤恨到极点，现在又把吕祖俭贬投瘴气之地，如果不幸死亡，那么怨恨愈加严重，不如稍稍徙往内地。”韩..胄也醒悟。吕祖俭到达庐陵，将要往岭外，得朝旨改送吉州居住。遇朝廷大赦，酌量移往高安。庆元二年(1196)去世，诏令归葬。
吕祖俭贬谪，朱熹写信给他说：“我以官职则比子约你高，以皇上顾遇恩礼比子约你重，但坐视一群小人的作为，不能讲一句话以报效皇上，却让子约你独舒烦闷不平，触犯众小人而赴祸机，非常惭愧叹息。”吕祖俭回信说“：在朝廷参予时事，就像在水火中，不可以居住一早上。如果住在乡闾间，治乱不知，又怎么多说呢？”在谪所，吕祖俭读书穷理，卖药以自给。每次出行，一定穿着草鞋徒步行走，作为过南岭的准备。他曾说：“因为世道变化有所摧折，而失去一向节操的人，本不值得讲了；因为世道变化而意志勇气有所增益的，也是出于本心。”所写文章有《大愚集》。吕祖俭堂弟吕祖泰。