薛居正字子平，开封浚仪人。其父薛仁谦任后周太子宾客。居正年轻时好学，有远大志向。清泰初年，参加进士考试未被录取，写了一篇《遣愁文》来自我解嘲，其文寓意卓越豪迈，观者认为有公辅大臣的器量。过一年，登进士第。
晋天福年间，华帅刘遂凝召他为从事。刘遂凝之兄刘遂清管理国家财经大事，上奏任命他为盐铁巡官。开运初年(944)，改任度支推官。宰相李崧领管盐铁，又上奏任他为推官，加任大理司直，升为右拾遗。桑维翰任开封府尹时，又上奏任他为判官。
后汉乾..初年，史弘肇统率侍卫亲军，威权震动皇上，为人残忍自傲，没有人敢忤逆他的命令。他的部下官吏控告百姓违犯盐禁，论法当死。讼狱将要决断，薛居正怀疑其罪不实，召来这个百姓讯问，原来这个官吏与他有私怨，因此诬告他。逮捕这个官吏来讯问，他供认不讳，被处罚。史弘肇虽然很恼怒，但又不能救助。后周广顺初年(951)，迁升为比部员外郎，统领三司推官，不久任知制诰。周太祖征伐兖州，诏令薛居正跟从前往，因为功劳加任都官郎中。显德三年(956)，迁升为左谏议大夫，擢任为弘文馆学士、判馆事。六年(959)，出使沧州核定民租。不久因为他的才干扬名朝廷，擢升为刑部侍郎、判吏部铨。
宋初，调任户部侍郎。太祖亲自征讨李筠及李重进，管理留司三司，不久出任许州知州。建隆三年(962)，到朝廷任枢密直学士，权知贡举。湖湘刚平定，朝廷任命居正知朗州。正遇逃兵数千人聚结山泽为盗，监军使怀疑城中僧侣一千多人都是同伙，准备全部捕杀。居正用计迟缓捕杀，于是率领军队消灭群寇，擒俘盗贼主帅汪端，讯问他，得知僧侣们并未参预其事，僧侣们得以存活下来。
乾德初年(963)，加任兵部侍郎。皇帝将要亲自征伐太原，大量发动百姓运送粮草。当时河南府闹饥荒，逃亡者四万家，皇上为此感到忧虑，命居正乘驿马招集百姓，十天后百姓都恢复生业。朝廷命居正以本官参知政事。五年(967)，加任吏部侍郎。开宝五年(972)，兼任淮南、湖南、岭南等道提举三司水陆发运使事，又兼判门下侍郎事，监修国史；又监修《五代史》。过一年后，皇上赐给他器币。六年(973)，任门下侍郎、平章事。八年(975)二月，皇上对居正等人说：“年岁丰登，万物丰盛，如果不是上天保佑，哪里能这样。应当共思济物，如果政事有失，应当予以拯救，来实现我的志向。”居正等愈发勤修政事，来符合皇上的意愿。
太平兴国初年(976)，加任左仆射、昭文馆大学士。随从皇帝平定晋阳回来后，进官位为司空。由于吃了丹砂中毒，正在上奏政事时，发觉毒发，于是出了殿堂。到殿门外，喝了一升多水，堂吏把他扶到中书省，已经不能说话，只是指着廊庑间的储水器。身边的人把水取来，不能喝，吐气像烟雾，用车载回家里去世，时为太平兴国六年(981)六月，终年七十岁。追赠太尉、中书令，赐谥号为文惠。
薛居正气质容貌伟岸，喝酒喝到几斗还能不醉。秉性孝顺行为善良，居家生活节俭。任宰相时处事宽厚，不喜欢苛察，士大夫对此很为赞许。从参政到任宰相，一共十八年，皇帝对他的恩宠始终不减。
先前，太祖曾经对居正说：“自古帝王很少能够正己，臣子大多没有远略，虽然身居显位，不能垂名后世，而身陷不义之名，子孙遭殃，因为君臣没能尽行其道啊。我看唐太宗接受大臣谏议，直接指出他的过错而不以为耻。在我看来，不如自己不做错事，使别人没有指责。又观古代的大臣很多不能慎终如始，能够得以保全而且享受厚福的人，是由于忠正啊。”开宝年间，薛居正与沈伦一起任宰相，卢多逊任参知政事。九年(976)冬天，卢多逊也任平章事。到居正死后，沈伦被贬官，卢多逊流放南方，议论的人说薛居正坚守臣道受福，果然符合太祖之言。
薛居正喜好读书，写文章落笔不能停止。其子薛惟吉把他的文章编集为三十卷送给皇上，皇上赐集名为《文惠集》。咸平二年(999)，朝廷诏令薛居正附祀于太宗庙。