李穆字孟雍，开封府阳武人。其父李咸秩，任陕州大都督府司马。李穆年幼时就能写文章，有很高尚的行操。走在路上捡得丢失的东西，一定访到失主归还他。师从酸枣王昭素学习《易》及《庄子》、《老子》诸书，穷尽义理。昭素对他说“：你学到的都是精理，往往有些出乎我的意想。”并且对别人说“：李生今后一定会成为朝廷大材。”昭素把自己所著的三十三篇《易论》传授给他。
后周显德初年(954)，因考中进士任郢、汝二州从事，升任右拾遗。
宋朝初期，以殿中侍御史身份选任为洋州通判。他到州后，处理积留案件，没有一件滞留不决。改任陕州通判，有关部门调郡里租税送到河南，李穆因为本州缺粮，不立即应命，因此被免职。又因推举官员失误，被削去以前的资历。当时他的弟弟李肃任博州从事，李穆奉养母亲住在李肃的居处，虽然家里很贫穷，兄弟互相讲学，态度豁然淡泊。
开宝五年(972)，以太子中允一职召他入朝。第二年，任左拾遗、知制诰。五代以来，词令崇尚华丽，到李穆时单独崇尚雅正，尽力矫正这个弊端。李穆与卢多逊为同门学生。太祖曾经对多逊说：“李穆为人仁善，文学之外无所擅长。”多逊回答说：“李穆操行端重，遇事不因生死易节，是个有仁有勇的人啊。”皇帝说：“果真如此，我将重用他。”当时准备进攻南唐，已经对诸将作了部署，却没有发兵进攻的借口。于是先召李煜入朝，任命李穆为使者。李穆到南唐说明旨意，李煜以疾病为借口推辞了，并且说：“事奉大国以求生存，现在如果这样做，只有死路一条了。”李穆说：“入朝与否，国主自己作主吧。但是宋朝军队精锐，物力雄厚，恐怕不易抵挡它的兵锋，应当再三考虑成熟，不要自贻后患。”出使回朝后，详细述说出使情况，皇帝认为他的宣谕要切。南唐也认为他的话诚实。
太平兴国初年(976)，转任左补阙。太平兴国三年冬天，加任史馆修撰、判馆事，当面赐给他金紫朝服。太平兴国四年，跟从太宗征伐太原回来，授任中书舍人。参预修撰《太祖实录》，赏赐他衣带、银器、缯彩。太平兴国七年，因为与卢多逊亲近而不庄重，又替秦王廷美草拟朝辞笏记，被言官弹劾，被贬授司封员外郎。
太平兴国八年春天，与宋白等人同知贡举，他在崇政殿陪侍皇上亲自考试进士，皇帝怜悯他形容憔悴，当天就授任他为中书舍人、史馆修撰、判馆事。五月，任命为翰林学士。六月，任知开封府，判案精敏，奸滑之人无所逃脱，从此豪族收敛恶迹，权贵不敢以私干预政事，皇上越发知道他的才干。十一月，提升为左谏议大夫、参知政事。一月后，遭母丧，不久，守丧未满三年，朝廷重新起用他任本官。李穆三次上表请求守丧满制，诏令强行起复，李穆越是哀伤尽礼节。太平兴国九年正月，早晨起床准备上朝，因风眩突然去世，终年五十七岁。
李穆从贬任员外郎，复任中书舍人，进入翰林院，任参知政事，以至到死，不满一年。太宗听说他的死讯，哭着对亲近的大臣说：“李穆是国家的良臣，我正要倚用他，却突然去世，这不是他个人的不幸，乃是我的不幸啊。”追赠工部尚书。
李穆为人至孝，他的母亲曾经有病卧床，每次动止转侧，都亲自扶掖，于是称合母亲的心意。当初，李穆因秦王事被交给官吏审问，他的儿子惟简骗祖母说是李穆奉诏在台省审讯案件。被贬任省郎后，回家，也不告诉母亲。每隔一天，假装入宫承直，去访亲拜友，或者游历僧寺。免职归家，直到复官，他的母亲始终不知道。居母丧期间，因思念母亲竟至灭性。
李穆擅长篆隶书，又工于绘画，常隐瞒这些。为人厚道朴质忠于职守，行动言语都很谨慎，所作所为出于真心，没有矫饰。深信佛教经典，善于谈论名理，喜欢接引后进，常常向朝廷推荐。尤其宽厚，家人从未看见过他的喜怒。所写文章，随即毁掉，大多不留稿。
他的儿子惟简，因为父亲的官爵任将作监丞，多才多艺，性情冲和淡泊，不追求仕进。离职居家二十多年，人们都称赞他。真宗一向听说他有节操，景德三年，诏令授任惟简的儿子郯为将作监主簿。大中祥符七年(1014)冬天，召惟简入宫谈话，特地授任为太子中允退休，后来加官太常丞。天禧四年(1020)，去世，赐给他家钱十万，仍给郯每月俸禄让他守丧终制，郯后来任太子中舍。