山伟，字仲才，河南洛阳人。他的祖先居住代地。祖父山强，仪表丰伟，身长八尺五寸，善于骑马射箭，可拉开五石大弓。任奏事中散。曾跟随献文帝到方山打猎，有两只狐狸在皇帝的面前奔跑，献文帝命他射杀，一百步内，两只狐狸都被射获，被任命为内行长。山伟的父亲山幼之，任金明太守。
山伟广泛涉猎文学史书。孝明帝初年，元匡任御史中尉，任命他为兼侍御史。到御史台上任才五天，便遇上孝明帝元旦朝会群臣。他负责神武门的监察，他妻子的从叔任羽林队主，在殿门前鞭打直长，他立即奏报。元匡很是称赞他，不久即奏请朝廷，任他为正侍御史，又由国子助教升任为员外郎、廷尉评。
这时，天下太平无事，在仕途上升迁非常困难。由代地迁至洛阳的人，大多不被起用。到六镇、陇西两个地方叛乱时，领军元叉想任用代地出身寒微的人为传诏，以安慰他们。仅州郡牧守的子孙们来投递个人情状，要求任职的就有一百多人。元叉因而奏请建立勋附队，准备按照他们各自的资历给予职务。从此，北边来的人全部被录用。山伟便将这件事奏报，赞扬元叉的美德。元叉从来不认识山伟，向侍中安丰王元廷明、黄门郎元顺询问，元顺等人因此称颂和推荐他。元叉让仆射元钦推荐山伟兼任尚书二千石郎。以后又正名为士郎，参与纂修皇帝的起居注。仆射元顺负责选拔官吏，又上表推荐山伟任谏议大夫。
..朱荣在河阴杀害朝臣，山伟正巧在朝廷值班，所以得以免除杀身之祸。孝庄帝即位入宫，任命他为给事黄门侍郎。早先，他与仪曹郎袁升、屯田郎李廷考、外兵郎李奂、三公郎王廷业四人骑着马并排而行，山伟在他们的后面。路上遇到一个尼姑，看见他们四人叹息说：“你们机缘相同，会在同一天死去。”又对山伟说“：你正接近天子，可以做一个好官。”袁升等四个人都在河阴被..朱荣杀害，果然应了尼姑的话。
不久任著作郎，节闵帝即皇帝位，任他为秘书监，仍任著作郎。开初，..朱兆领兵进入洛阳，官吏们四处逃散。国史典书高法显秘密埋藏史书经典，所以图书没有损失。山伟自认为有功，向朝廷诉说请求封赏。他依附..朱世隆，被封为东阿县伯，而高法显只获得男的爵位，山伟不久又晋升为侍中。东魏孝静帝初年，他任卫大将军、中书令，负责监修起居注。后来，又以本官领任著作一事。死在位上，追赠为骠骑大将军、开府仪同三司、都督、幽州刺史，谥号为文贞公。
国史自从邓彦海、崔深、崔浩、高允、李彪、崔光以来，很多人相继记录撰写。綦俊和山伟等人趋奉上党王元天穆和..朱世隆，认为国书应该由代地人修撰，不应该委任其他人，所以綦俊、山伟等人代替南边的人主持这部重要著作的修撰。他们只是守持旧制，并没有著述。所以，自从崔鸿死后，到山伟已有二十多年，时事荡然失落，已是万不记一。后人再执笔补写，却没有史料作依据。这段历史的缺漏，是由山伟造成的。
他外表深沉厚重，而内心实则矫饰竞奋。与綦俊从小就很投合，晚年为了名位，两人较长竞短，形同水火。他与宇文忠之一类代地人结成党羽，当时的贤士对他们既畏惧又厌恶。他酷好文学历史，越老兴致越高。他的弟弟从小死去，他就抚养寡居的弟媳，训教失去父亲的侄儿，养育他们母子二十多年，恩义十分深厚。他不经营家产，去世之后，家人卖掉房产安葬他，妻子儿女不免飘泊无依，朋友们都感叹和可怜他们。