吕蒙正字圣功，河南人。其祖父吕梦奇，是户部侍郎。其父吕龟图，是起居郎。吕蒙正在太平兴国二年(977)录取为进士第一名，任命为将作监丞、升州通判。向皇上辞行时，皇上命令，政事如果有不便处理的，允许骑驿马前来上告，赐给他钱二十万。待调回到京师，遇上皇帝亲征太原，召他到行宫晋见，任为著作郎、直史馆，加任左拾遗。五年(980)，皇上亲自任命他为左补阙、知制诰。
当初，吕龟图内眷很多，与嫡妻刘氏不和，把刘氏及蒙正一并赶出，蒙正母子非常穷困窘迫，刘氏发誓不再嫁人。蒙正做官后，迎接父母亲同住，父母亲住在一个屋子里但不同房间，蒙正对他们奉侍得非常周到。吕龟图不久死去，朝廷诏令起复蒙正。不久，升为都官郎中，入朝任翰林学士，擢升为左谏议大夫、参知政事，赐给他丽景门的住宅一栋。皇上对他说“：凡是读书人未被任用时，见当世之政事不合理的地方，则心中不满；到被任用后，可以提出可行的建议而救助不当的政事，应当尽其所能，即使建议不一定每次都合理，也应当凡事都提上建议，使政事符合于治道。朕从来不自恃崇高，使人不敢有所言。”吕蒙正刚进入朝廷，有位朝臣指着他说：“这个人也是参政吗？”蒙正装作没有听见而走过去。同僚们愤愤不平，询问那个人的姓名，吕蒙正急忙制止说：“如果知道他的姓名，就会终身不能忘记，不如不知道为好。”当时人都佩服他的度量。
李日方被罢免宰相后，吕蒙正被任命为中书侍郎兼户部尚书、同平章事、监修国史。吕蒙正为人厚道宽容，有很高名望，以坚守正道自律。遇事敢出来讲话，每次讨论时政，有不公允的，一定坚持反对意见，皇上赞许他能无所隐瞒。赵普是开国元老，吕蒙正是后来提升的官员，历任各种官职十二年，于是同任宰相，赵普很赞许他。不久，遭母丧，守丧未满三年，被重新起用。
先前，卢多逊任宰相时，他的儿子刚出仕就授官水部员外郎，后来就当作常例。到现在，吕蒙正上奏说：“臣出身进士及第，出仕时只授为九品京官。况且天下有才能的人，终身隐居于山林，没有得到朝廷丝毫俸禄的人多得很。现在，臣儿子刚成年，获此宠任，恐怕遭到上天谴责，请求以臣刚出仕时的官职补任他。”从此宰相的儿子只授给九品京官，成为法定制度。
朝臣中有位收藏有古镜的人，自称此镜能照出二百里范围的景色，想献给吕蒙正以求任用。吕蒙正笑说“：我的面部不过碟子那么大，哪里用得上照二百里的镜子呢？”听说的人都叹服。
淳化年间，左正言宋沆上奏疏违逆皇上旨意，宋沆是吕蒙正妻子的族人，因此而罢免吕蒙正吏部尚书一职，又任用李日方为宰相。四年(993)，李日方被罢免宰相，吕蒙正又以本官任宰相。与皇上奏对时，谈到征伐之事，皇上说“：朕近来的征讨，是为百姓剪除凶暴，如果好功黩武，那么天下百姓都灭尽了啊。”蒙正回答说：“隋、唐数十年中，四次征讨辽碣，百姓疲乏不堪。隋炀帝全军覆没，唐太宗运去土木攻城，这样最终没有成功，况且治理国家的重点，在于国内勤修政事，那么远方之人必来归服，自然会得到安宁。”皇上同意他的意见。
皇上曾经在元宵节主办宴会，吕蒙正侍奉，皇上对他说：“五代的时候，生灵凋丧，周太祖从邺南归，官吏和百姓都遭到抢掠，下则有火灾，上则彗星出现，观者惊恐畏惧，当时认为天下再也没有太平日子了。朕亲自总揽政事，万事大致得到治理，每当想到上天的赏赐，导致这样繁荣昌盛，就知道国家的治理与混乱在乎人为。”吕蒙正离开坐位说“：皇帝所在之处，百姓都到此聚集，所以繁盛至此。臣曾经看到城外不出数里之地，饥寒而死者很多很多，不是都像城里这个样子。希望陛下从近处看到远处，才是百姓的幸福啊。”皇上脸上变色不说话。蒙正凛然回到座位，同僚们赞许他的刚直。
皇上想派人出使朔方，命令中书省选择有才能而可以担负重任的人，蒙正退朝后，上奏人选名字，皇上不批准。后来，皇上三次问到此事，蒙正三次以此人作答。皇上说“：卿为什么这么固执呢？”吕蒙正说：“臣不是固执，而是陛下不能体察谅解啊。”再次说：“这个人可以任用，其他的人赶不上他。臣不愿用阿谀献媚盲目听从皇上的意见，以致耽误国事。”同僚们屏气不敢言。皇上退朝后对身边的人说“：吕蒙正的气量是我不如的啊。”后来还是任用蒙正推荐的人，这个人果然称职。
至道初年(995)，诏令吕蒙正以右仆射身份出任河南府通判兼西京留守。吕蒙正到洛阳后，常常招引亲戚故交欢宴，政事主张宽静，委任僚属，政事自己只总体裁决而已。
真宗即位，进迁吕蒙正为左仆射。遇到朝廷营建奉熙陵，吕蒙正追忆感戴先朝所给予的优厚的恩遇，贡献家财三百多万作为营建经费的补充。太宗下葬那天，吕蒙正伏地哭泣极尽悲哀，人们认为合大臣之礼。咸平四年(1001)，朝廷诏令吕蒙正以本官同平章事、昭文馆大学士。本朝以来三次任为宰相的，只有赵普和吕蒙正两人。郊祀礼后，加封为司空兼门下侍郎。六年(1003)，授给他太子太师一职，封为莱国公，改封徐国公，又封为许国公。
景德二年(1005)春天，吕蒙正上表请求辞官回洛阳。到朝廷告辞那天，坐轿到东园门，命令他的儿子扶着他到宫殿，对皇上说：“对远方的人要和平共处，停止战争节省财用，是古往今来的治国上策，希望陛下经常替百姓着想。”皇上赞许并采纳他的意见，于是升任他的儿子吕从简为太子洗马，吕知简为奉礼郎。吕蒙正在洛阳，有园亭花木，每天与亲戚朋友宴会，子孙环列，经常向他敬酒祝寿，怡然自得。大中祥符以后，皇上朝拜永熙陵，封禅泰山，祀祠后土，经过洛阳，两次到他家，赏赐给他很多财物。皇上对吕蒙正说：“卿的几个儿子谁可以重用？”蒙正回答说“：我的几个儿子都不足任用。臣有个侄儿叫吕夷简，现任颍州推官，具有宰相的才能。”夷简从此被皇上知道。
有个叫富言的人，是吕蒙正的宾客。一天告诉蒙正说：“我的儿子十几岁，想让他入书院，事奉廷评、太祝。”吕蒙正答应了他。见面后，惊叹说：“这个儿子将来名位与我相似，而功勋事业远远超过我。”令他与自己的几个儿子同学，供给很优厚。富言的儿子就是富弼。后来富弼两次任宰相，也是以司徒退休。吕蒙正善于识人才就是这样。
许国公的封命刚下来，吕蒙正就逝世了，终年六十八岁。追赠中书令，赐谥号为文穆。
吕蒙正初次任相时，张绅知蔡州，因为贪赃被罢免。有人对皇上说“：张绅家里很富，不会这样，仅仅因为吕蒙正贫贱时请他救济不如意罢了。”皇上命令马上恢复官职，吕蒙正不予分辩。后来考课院得知张绅的真实情况，又贬张绅为绛州团练副使。吕蒙正第二次任宰相时，太宗对他说“：张绅果然有赃。”吕蒙正既不分辩也不感谢。在西京时，皇上几次派遣中贵人送命令给他，吕蒙正对待使者的礼节仍像任宰相时一样，不自我贬低，当时人都很敬重他。