裴矩，字弘大，襁褓中就失去父亲。年龄稍长，就酷好学习，十分喜爱有文采的文章，又很有智谋。伯父裴让之对他说“：看你的神情器识，将来足可以成为俊才之士。要想求得仕途通达，一定要培养治理天下的本领。”裴矩从此开始留心世事。入仕北齐，任高平王的文学侍臣。北齐灭亡，他的官职没有变动。隋文帝杨坚任定州总管时，请他为记室，对他十分亲近敬重。因奔母丧离职回家。等到杨坚任北周的宰相时，便派人将他召回，请他做相府记室。杨坚做皇帝，升他为给事郎，进而负责中书舍人的事。攻打陈国时，他任元帅记室。打破丹阳后，晋王杨广令裴矩与高赹接收陈国的图书典籍。
第二年，他奉皇帝诏命到岭南视察，没有动身却暴发了高智慧、汪文进等人的叛乱，吴、越间的道路被阻隔。文帝难于催促他出发，他却请求马上动身，文帝同意了。走到南康，得到数千名士兵。这时，当地的俚帅王仲宣带兵进逼广州，命部将周师举围攻东衡州。裴矩与大将军鹿愿率兵赴援。贼兵设立九道栅栏，驻扎在大庾岭，与进犯广州和东衡州的两支人马互相声援。裴矩挥师进击，大破贼兵。贼兵害怕，撤离东衡州，据守原长岭，裴矩又将他们打败，并斩杀周师举。又从南海进军救援广州，王仲宣闻风丧胆，部下四散溃逃。裴矩共收复二十余州，又秉承皇帝旨意，任命贼兵的各级头目署理刺史、县令。还朝后文帝十分高兴，命他升殿以慰问他的劳苦。并对高赹、杨素说：“韦氵光率领二万军队，不能早日越过南岭，经常忧虑自己的兵太少。裴矩只带三千疲弊的士卒就直接到达南海。有这样的臣僚，我还忧虑什么。”因功勋显赫封他为开府，赐爵为闻喜县公，赏赐二千多匹绸缎，又授予户部侍郎，迁为内史侍郎。
这时，突厥日益强盛起来，都蓝可汗的妻子大义公主是宇文氏家的女儿，因而多次引起边患。后来，因为公主与跟从的一个胡人私通，长孙晟先揭发了这件事。裴矩请求出使突厥，劝说都蓝公开处死大义公主。文帝同意这个意见，事情的发展竟和裴矩说的一样。大义公主被杀后，都蓝与突利可汗发生冲突，屡次进犯边境上的堡垒。文帝命太平公史万岁为行军总管，从定襄出发，命裴矩为行军长史，在塞外打败达头可汗。史万岁后来被诛杀，裴矩的功劳竟不记录。文帝因启人可汗刚刚归附，命裴矩前去安抚慰劳。归来，升为尚书左丞。
这一年，文献皇后驾崩，太常寺过去没有治丧的礼节制度。裴矩与牛弘、李百药等人根据北齐的礼仪参酌修订。他又转为吏部侍郎，很能胜任职守。炀帝即位，营建东都洛阳，裴矩担任修建官署的职务，九十天就完工了。
当时西域诸蕃大都到张掖与中国互市交易，炀帝让裴矩负责这件事。裴矩知道炀帝正致力于异域的方略，所有来的胡人，裴矩都诱导他们叙说本国的风俗及山川的险易情况，据此撰写成《西域图记》三卷，入朝献给炀帝，书的序言说：
“我听说大禹定天下为九州，疏导黄河不超过积石山；秦兼并山东六国，设立边防只到临洮。所以，由此可以知道西域各国地处偏远，礼教不能施加，经典也很少传播。自从汉代兴立基业，开拓黄河以西的地区，开始立有名号的国家有三十六个。以后又分裂建立新国，便出现五十五个王国。汉室设置了校尉、都护等职对他们进行招安抚慰。然而，他们时而臣服，时而背叛，引起多次征讨战乱。后汉一代，不断废除这些官职，虽然从大宛国建立以来，大略了解西域的民户数目，但各国的山川河流，却没有名称。至于如姓氏、风土人情、服饰制度、物产情况，都没有编纂记录，举世都不了解。又因为春秋代谢，年代久远，互相兼并讨伐，各有兴盛和败亡。或者土地是原来的故地，却改为今天的叫法；或者人已不是过去的族类，却仍袭用过去的名字。再加上内地人和边人不断交错，疆域不断变动，西部的戎族和北部的狄族说话又不一样，事情很难弄清楚。于阗以北，葱岭以东，考察前代历史，有三十多个国家。以后相互攻伐杀戮，仅剩下十来个，其余的都已消失，什么都不存在了，只剩下一片废墟，无法记载和认识它们。
“皇上顺应天意，抚育万物，不论华族和夷族，所有土地上的人民，没有不向慕教化的。风气所及，一些时候以来，各国争相进贡物品，不管多远没有不送来的。我因安抚各国，监督关市，搜寻有关书籍，采访各少数民族，遇有疑问，便博采众口，依照他们本国的服饰形状，王公和百姓们的形貌举动，用丹青描摹成为《西域图记》，共有三卷，包括四十五个国家。另外，又绘制地图，将要害全部画出。从西海以北，北海以南，纵贯横亘，将近两万里。采访是根据富商大贾们的周游跋涉，所以各国的情况没有不详细了解的。又有那些荒远偏僻的地方，难于访问明白，不可凭空虚造，所以空缺。而两汉以来，西域就有习惯，拥有数十户人家就自称国王，徒有虚名，与实际大相乖违。现在所编入的，皆是拥有千余户，物产在西海数得着，大多出产珍财异宝的国家。那些住在山里，没有国名，以及规模小的部落，多不记载。
“从敦煌出发到达西海，共有三条道路，各有自己险要的地势。北道从伊吾经蒲类海、铁勒部、突厥可汗庭，渡过北流河水，到达拂蘂国，直通西海。中道从高昌、焉耆、龟兹、疏勒，越过葱岭，又经过钹汗、苏勒沙那国、康国、曹国、何国、大安国、小安国、穆国，经由波斯，到达西海。南道从鄯善、于阗、朱俱波、喝盘陀，越过葱岭，经过护密、吐火罗、挹怛、忄凡延、漕国，由北婆罗门到达西海。这三路中的各国，也各自有自己的道路，南北贯通。它的东面有女国、南婆罗门国等，凡是所需要去的地方，各处都能畅通。所以知道伊吾、高昌、鄯善共为西域的门户；各方总汇的敦煌，是它的咽喉之地。
“凭借国家的威望德义，将士的骁勇雄健，渡过氵蒙汜而扬起战旗，越过昆仓而腾起战马，攻城夺地，易如反掌，没有不能去的地方。但是，突厥、吐谷浑分别控制西域各国，受它们的阻挠，所以各国给我国的贡品不能通过。现在各国依靠商人，秘密表示真诚通好的心愿，引颈翘首，愿意向我国臣服。圣恩高厚，泽被天下，让各国服从并进而驾驭他们，务必要安辑抚绥。所以，先朝派遣使臣通好，不靠武力征服。西域各国既已服从，强悍的突厥就能消灭。使华夏与西戎统一，就在于此啊。不对此有所记录，就无法表达我国威信的广远。”
炀帝看了十分高兴，赏赐给他五百匹绸缎，每天招裴矩到御座前，亲自询问西域的事情。裴矩极力陈说西域有很多奇珍异宝，吐谷浑容易吞并，炀帝听了甚为称心，将通好西域、经略夷族的重任都委托给了他。
后来，他的官位升至黄门侍郎，炀帝仍命他出使张掖，联络西蕃各国，共到达十多个国家。大业三年(608)，炀帝到南岳恒山祭祀，让裴矩前来助祭。炀帝将要巡视黄河以西的地方，又让裴矩前往敦煌。裴矩派使者游说高昌王麦曲伯雅及伊吾吐屯设等人，用厚利诱惑，引导他们入隋朝拜。等到炀帝西巡时到达燕支山，高昌王、伊吾设等，以及西蕃二十七国的国君在道旁拜谒。裴矩令他们都佩带金玉，披着用美丽的毛织物做成的服装，摆上香案，奏起音乐，尽情歌舞。又令张掖、武威的男男女女盛装艳服前来观看，周围数十里连绵不断，以显示中国的强盛。炀帝看了十分高兴。隋军终于攻破吐谷浑，拓展土地数千里，并派兵驻守这些地方，每年输送入朝的物资多以亿万计。各蕃国恐惧震慑，陆续向隋纳贡。炀帝认为裴矩对少数民族有抚绥怀柔的谋略，提升他为银青光禄大夫。
这年冬天，炀帝驻跸东都。裴矩因蕃国进贡的很多，劝炀帝下令在都城大肆娱乐庆贺。征集全国各地有特殊技艺的艺人排列在端门街两旁，个个穿着华丽的绸缎衣服，戴着光华夺目的金玉饰物，竟有十数万人。又命令百官及百姓们坐在搭起的棚阁上尽情观看，每个人也都穿着鲜艳的服装，活动持续一个月才结束。还令沿街店铺都搭起布幔帐篷，摆上酒肉食品，让负责边疆蕃国的官员领着西域各国客人与当地人贸易，每到一处都令当地人邀请胡人入坐宴饮，直到酒足饭饱才散去。这些来自远方的客人十分感叹，认为中国是神仙居住的地方。炀帝称赞裴矩对朝廷十分忠诚，对宇文述、牛弘说：“裴矩陈奏的所有建议，都是我已经考虑过的，只是我还没有公布，他就已经提出。如果不是一心为国，怎么能做到这样？”
炀帝派将军薛世雄修建伊吾城，命裴矩和他一起筹划经营。裴矩告诫西域各国说“：隋朝天子认为和你们往来，距离太远，所以修建这座城市。”他们都认为这是件好事，不再来争夺骚扰。裴矩回到京师，炀帝赏赐给他四十万钱。裴矩又建议，派使者反间射匮，偷偷攻打处罗。后来，处罗被射匮的攻势逼迫，派使者来隋朝拜。炀帝十分高兴，赏赐给裴矩裘皮以及西域产的珍宝异器。
裴矩跟随炀帝巡视塞北，来到启人的帐篷。这时，高丽国先派人出使突厥，启人不敢隐瞒，引来人见隋炀帝。裴矩因而上奏说：“高丽原本是孤竹国的地方，周朝把它封给箕子，汉代分成了三个郡，晋朝也统属于辽东。现在却不臣服，自列为外国异域。因而，先帝早就想征伐它。但是，因为杨谅没有才干，所以军队劳而无功。现在陛下您威灵天下，怎能不事征伐，使这个文明之邦仍然为野蛮之乡呢？今天，它派使者朝拜突厥，亲眼看见启人举国顺从大隋的教化，必定畏惧皇帝威灵的无远不到，忧虑最后臣服就会灭亡，严令他们来朝拜，就可以收服啊。”炀帝说“：怎么办？”裴矩说“；请当面诏谕高丽的来使，放他回国，给他的国君说，速来隋朝朝拜。不这样办，就率领突厥的军队，即刻将它诛灭。”炀帝采纳了他的意见。高丽国的国王不服从隋朝的命令，于是炀帝开始了征辽的谋划。
隋军兵临辽境，裴矩以原来的职务兼领武贲郎将。第二年，他又跟随炀帝到辽东。兵部侍郎斛斯政因参与谋反逃到高丽，炀帝命裴矩兼管军队的事。因前两次征辽有功，他升为右光禄大夫。
这时，朝廷纲纪败坏，人们大都改变节操。左翊卫大将军宇文述、内史侍郎虞世基等人把持朝政，文武官员大多向他们行贿邀宠。惟有裴矩坚守道德，没有污秽肮脏的举动，因此被世人称颂。后来因为刚刚平定杨玄感的叛乱，炀帝命裴矩到陇右一带安抚。他因此到了会宁，慰问曷萨那部落，派阙达度设进攻吐谷浑，不断有所虏获，这个部落也富裕起来。归来奏述这些情况，炀帝重赏了他。后来，他随炀帝到达怀远镇，炀帝命他负责北蕃的军事。
裴矩看到始毕可汗所部势力渐渐强盛，向朝廷献策以分解他的力量，准备将皇室女儿嫁给他的弟弟叱吉设，并封叱吉设为南面可汗。叱吉设不敢接受。始毕听说后却十分怨忿。裴矩又说“：突厥生性淳厚，易于离间。因为他们部落内有很多胡人，都十分凶狠狡黠，去教唆突厥人。我听说史蜀胡悉奸计最多，被始毕可汗倚重，请将他诱杀。”炀帝说；“可以。”裴矩便派人对胡悉说“：天子拿出大批珍宝异物，现在存放在马邑，想同边疆各蕃交换，如果来得早，就可以得到最好的宝物。”胡悉相信他的话，没有告诉始毕，就率领他的部落，驱赶着所有的牧群争先进发，希望抢先与汉人交易。裴矩在马邑设下伏兵，将胡悉诱杀。炀帝下诏书给始毕说“：史蜀胡悉忽然领着他的部落来到这里，说要背叛可汗您，请求我接纳他。我已把他处死，所以派人告知。”始毕也知道事情的真实情况，因此不再朝贡。
大业十一年(615)，炀帝到北方巡狩。始毕率领数十万骑兵将他包围在雁门，炀帝命裴矩与虞世基住在朝堂上以便随时顾问。等到围困解除，裴矩又跟随炀帝来到东都。射匮可汗派他的从子率领西蕃各部前来进贡，炀帝命裴矩宴请并接待他们。
不久，他又跟随炀帝到江都行宫。这时，四方盗贼蜂拥而起，郡县纷纷奏报叛乱的消息。裴矩叙说了这些情况，炀帝十分恼怒，便打发他到京师去接待蕃邦客人。裴矩因身体有病没有成行。等到义兵攻入关内，炀帝派虞世基到裴矩家里询问退敌方略。裴矩说“：太原如有变故，京城便不会平静。仅仅远远地控制，恐怕会失掉事情的机宜，惟望圣驾早日返回京师。”不大一会儿，骁卫大将军屈突通失败的消息传来，裴矩报告了炀帝，炀帝大惊失色。裴矩平常勤勉谨慎，不曾与别人违拗。又看见天下动乱，恐怕祸及自身，他与别人交往，都超过别人的期望。所以，虽然担任这些职务，都能得到人们的欢心。
这时，跟随炀帝护驾的士兵不断有人逃散，炀帝很是忧虑，因而问裴矩应该怎么办。裴矩说“：皇上住在江都至今已经两年。这些卫队士兵都没有家口。人没有妻室，就不能长久安住，我请求允许兵士们在这里结婚成家。”炀帝非常高兴，说：“公足智多谋，这真是一条奇妙的计谋啊！”因而命裴矩为将士们娶妻。裴矩召集江都境内的寡妇和没有许配人家的女子都集中在宫院内，又召集各将帅和士兵等来任意挑选。听凭个人自愿，那些与别人通奸的妇女以及尼姑、女道士等，也都随即配给士兵。因此，将士们都很高兴，互相告诉说：“这都是裴公的恩惠呀！”
宇文化及反叛，裴矩早晨起来将去上朝，来到坊门，遇到数名叛党，他们拉着裴矩的马来到孟景那里。叛党都说：“不关裴黄门的事。”接着，宇文化及带着一百多骑兵来到，裴矩上前跪拜迎接。宇文化及宽慰他，让他参加修订礼仪，推举秦王的儿子杨浩为皇帝。让裴矩在内宫料理，随宇文化及到达河北。宇文化及自立为帝，任裴矩为尚书右仆射，加光禄大夫衔，封为蔡国公，授河北道宣抚大使职。
宇文化及失败，裴矩被窦建德俘获。因为他是隋代旧臣，所以对他十分宽厚，任命为吏部尚书，又升为尚书右仆射。窦建德是从群盗中起家的，朝廷中没有典章制度，裴矩为他制定了朝中的制度礼仪。一个月时间，各种典章制度全部制定，很像是正式称王的，窦建德非常高兴。
窦建德失败时，裴矩与将领曹旦等在氵名州留守。曹旦的长史李公淹和大唐的使者魏征等劝说曹旦和齐善行，让裴矩归顺大唐，曹旦等答应了，便让裴矩与魏征、李公淹带着曹旦及所有的印玺，贡献出山东一带的土地归降。唐授裴矩为左庶子，又升为詹事、户部尚书，后死去。