薛道衡，字玄卿。六岁时父亲去世，却专心致志，发奋好学。十岁时，老师为他讲解《左传》，看到子产做郑国相的功劳，他便写下《国侨赞》，很有才华，读的人都很惊奇。以后，他的文名越来越大。北齐的司州刺史、彭城王高氵攸任他为兵曹从事。尚书左仆射杨..对他大加赞赏，授予他奉朝请的职衔。吏部尚书、陇西人辛术与他交谈，感叹道：“汉代才华出众的郑太还活着呀。”河东的裴谳和他见面之后，高兴地说：“政权由中原移至河朔，我只说‘关西孔子’(按：指东汉华阴人杨震)这样的人才很难遇到了，没想到今天碰上了薛道衡啊！”
北齐武成帝高湛即位，薛道衡兼任散骑常侍，接待了北周与南陈两国的使者。武平初年，朝廷命他与其他学者们修订五礼，被授予尚书左外兵郎。南陈使者傅纟宰出使北齐，薛道衡以主客郎的身份接待了他。傅纟宰写赠诗五十韵，薛道衡与之唱和，南北两国都交口称颂。魏收夸赞薛道衡说：“傅纟宰的诗，好比用蚯蚓钓出了大鱼啊。”薛道衡在文林馆职，与范阳的卢思道、安平的李德林关系亲密，名声驰誉。他又以原来的官职兼任中书省的职务，不久，任中书侍郎，又兼太子侍读。齐后主时，他逐渐被重用，与侍中斛律孝卿一起参与朝廷大事。薛道衡详细陈述防备北周进攻的策略，斛律孝卿却没有采用。
北齐灭亡后，周武帝授予他御史二命士。以后回归乡里，从州主簿的职务开始，又进入朝廷任司禄上士。隋文帝杨坚做北周宰相时，薛道衡跟随元帅梁睿进攻王谦，又担任了陵州刺史。大定年间，朝廷授予他仪同的职衔，实际担任邛州刺史。
隋文帝即位，薛道衡却因事获罪，被免去职务。河间王杨弘向北征讨突厥，召请他负责军中文书。归来，任内史舍人。这一年，又兼任散骑常侍。出使陈国，他为主要使者，因而向隋文帝建议说“：陛下您的功勋可与尧舜相比。平定九州，天下化一，怎么能允许小小的南陈，长久存在于天纲之外？我现在奉命出使该国，请求朝廷下令他们向大隋自称为藩附国。”隋文帝说“：我尚且有涵养原谅他们，因而置之度外，你不要用不礼貌的言词损辱他们。”江南一带喜好诗文篇章，陈国后主陈叔宝尤其喜欢吟诗填词，薛道衡每有诗篇问世，江南人无不吟诵传唱。
到了开皇八年(588)隋军攻打南陈时，薛道衡被任命为淮南道行台尚书吏部郎，兼管军中的文书。大军驻扎在长江岸边，高赹夜晚坐在军帐中，对薛道衡说“：这次是否一定能攻克江东？请你谈谈看法。”薛道衡说：“凡讨论大事的成败，必须先用牢不可破的道理去判断。《禹贡》上所记载的九州，本来是当王的人所应管辖的领域。郭璞说过‘：江东分裂称王三百年，还会与中原合在一起。’现在南陈气数将满，以运数判断，江南必被克复，这是原因之一。有道德的就昌盛兴隆，失去道德的就衰弱灭亡，自古以来国家的兴亡，都符合这个道理。圣上亲躬政事，俭朴谦恭，劬劳勤勉；陈叔宝却住高屋，雕画墙，沉溺酒色。这是江南必被克复的原因之二。治理国家的关键，在于任用贤能。南陈的公卿大臣，仅仅是充数而已。提拔卑薄无德的施文庆，并委以重任；尚书令江总只会饮酒赋诗，根本不是经邦治国的人才；萧摩诃、任蛮奴是南陈的大将，仅是两个普通人罢了。这是它必然被克复的原因之三。我国得道而又强大，南陈失道而又弱小。估计它的军队，不超过十万。西自巫峡，东到海滨，分散驻守则形势悬殊而力量薄弱。集中驻防又会顾此失彼。这是南陈必然被攻克的原因之四。席卷江南的形势已经形成，成功的关键在于不要犹豫。”高赹听后高兴地说“：你分析成败的形势，道理了了分明。我本来只把你当成有才学的读书人来看待，没想到如此有文韬武略。”伐陈归来，他任吏部侍郎。
后来坐罪于选拔人才。有人弹劾他与苏威结党，有意拔举，所以被免官，流放到岭南。晋王杨广当时在扬州，偷偷派人告诉薛道衡，让他请求走扬州这条路去岭南，然后奏请隋文帝把他留下来。薛道衡不喜欢杨广，而采纳了汉王杨谅的建议，便走江陵道去岭南。不久，朝廷下诏将他调回内史省任职。晋王杨广从此对他衔恨。然而，因为爱惜他的才干，对他十分礼貌。
以后数年，朝廷任命他为内史侍郎，又加上仪同三司的职衔。薛道衡每构思文章，一定端坐在空室内，或者靠着墙半躺着，听到外面有人说话便发脾气。他的沉思如此专注。文帝称赞说“：道衡起草的文书很符合我的意思。”然而，对他的迂阔荒诞却提出告诫。后来，文帝对杨素、牛弘说：“道衡年纪大了，我不能再驱使他，使他尝受辛劳，应该派卫士守卫着他家的大门，让他过上安逸稳定的日子。”于是，晋封他为上开府，赐给物品一百件。薛道衡以自己没有功劳而推辞，隋文帝说：“你长久在朝廷内辛勤供职，国家的大事，都由你来宣布，难道不是你的功劳吗？”
薛道衡长时间处在国家中枢机要的位置上，声望更加显著。太子和各地封王争相与他交结，高赹、杨素对他十分推崇，因而使他的名声更大，一时无人可比。仁寿年间，杨素专掌朝廷大事。由于薛道衡与杨素关系密切，隋文帝不想让他长久地了解机密大事，因而，让他出任襄州总管。薛道衡一旦被调出京城，十分悲伤和留恋，说话时不禁哽咽抽泣。文帝也面容忧戚，说：“你已经到了迟暮之年，对朝廷实在是忠诚勤劳。我想让你将养珍摄。现在你离开朝廷，我好象断了一只臂膀。”于是，又赏赐他物品三百件，九环金带和衣服一套，马十匹，劝慰勉励一番将他送走。他在襄州任上清廉简放，官吏和老百姓都怀念他的惠政。
炀帝继位，薛道衡转任潘州刺史。一年多后，上表请求退职。炀帝对内史侍郎虞世基说：“薛道衡将要回来，我将把秘书监的位置留给他。”薛道衡回京城后，写了《高祖文皇帝颂》一文送给炀帝，炀帝看了很不高兴，回头对苏威说：“道衡称誉先朝，就像《诗经》中的《鱼藻》篇用来讽刺幽王啊。”于是，只任他为司隶大夫，将要问他的罪。薛道衡还不觉悟，司隶刺史房彦谦平常与他关系亲近，知道他一定遭受祸殃，劝他杜绝来往的客人，说话也要注意措词和语气。而薛道衡却听不进去。恰巧朝廷讨论新的法令，久久不能决定，薛道衡对朝臣们说：“假如高赹不死，法令早已经颁布。”有人报告给炀帝，炀帝大怒，说“：你难道还想念高赹吗？”将他交给执法部门判决。薛道衡自以为不是什么大的过错，催促宪司早日判决。案情奏上时，希望炀帝能够赦免他，并让家里人准备酒饭招待来打听消息的客人。等到奏上案情，炀帝却下令让他自尽。薛道衡大感意外，没有诀别自裁。宪司重新上奏，炀帝下令将他用绳子勒死。他的妻子被流放到且末。死时年七十岁，天下人都认为他冤枉。有文集七十卷流行于世。