元胄是河南洛陽人，西魏昭成帝的第六代子孙。
祖父元顺，西魏的氵仆陽王。
父亲元雄，武陵王。
元胄小时候就英勇果敢，练就了多种武艺，美髯虎须，看上去凛然不可侵犯。
北周齐王宇文宪一见他，就把他当作壮士，招到自己的身边。
元胄多次跟随齐王出征打仗，官至大将军。
高祖刚被征召进朝廷，将被周宣帝托付后事，高祖先叫元胄，其次才叫陶澄，将他们一起当作心腹之人，常常住在高祖的卧室内。
高祖当了丞相后，元胄主管宫廷中的禁卫军，又引弟弟元威入宫当侍卫。
周赵王宇文招得知高祖将要取北周而代之，于是就邀请高祖到自己的府中，赵王将高祖引进卧室内，左右侍从不得跟随，只有杨弘和元胄兄弟坐在门边。
赵王对他的两个儿子宇文员和宇文贯说：“你们进室内去献瓜，我趁机将他刺杀。”饮酒正酣时，赵王想突起事变，拿所佩带的刀切瓜，不断地让高祖吃瓜，将要刺杀高祖。
元胄进屋说：“丞相，府中有急事，您不能在这里多呆了。”赵王大声喝斥说：“我和丞相谈心，你是干什么的？”赵王想把元胄喝斥走，元胄瞪圆双眼，怒气冲冲，握刀闯入内室。
赵王问他叫什么名字，元胄照实回答了，赵王恍然说：“你不是以前跟随齐王的吗？的确是壮士啊！”于是赐酒给他喝，并且温和地说：“我哪里有什么不好的意图呢？你何必如此猜测我警惕我？”不一会儿，赵王假装呕吐，准备进入后门，元胄怕他又有诡计，急忙走过去扶住赵王，使他坐入席中的上位，象这样做了几次。
后来，赵王声称自己口渴，命令元胄到厨房中去取茶，元胄不动。
不久，恰逢滕王宇文荄到来，高祖亲自走下台阶迎接他，元胄趁机对高祖耳语：“情况很不妙，您一定要快点离开这儿。”高祖还是没有明白，对他说：“他又没有兵马，能把我怎么样？”元胄说：“兵马都是他们的，一先下手，大事就完了。
我虽然不怕死，但死又有什么益处呢？”高祖又进室中坐下，元胄听见屋后有披铁甲的声音，于是立即请高祖说：“相府事急，你怎能如此久坐？”于是扶高祖下床，急促地离去。
赵王将要追赶高祖，元胄用身体挡住屋门，使赵王不能出来追赶。
高祖到达相府，元胄也回来了。
赵王将手指敲得出了血，悔恨自己没有抓住时机发动事变。
后来高祖杀了赵王，给予元胄的赏赐数也数不清。
高祖受禅登上帝位，元胄升为上柱国，封为武陵郡公，食邑三千户，授左卫将军，不久又升右卫大将军。
高祖闲谈时说：“保护我的安全，成就这番基业，这是元胄的功劳啊！”几年以后，元胄出任豫州刺史，历任亳州、淅州刺史。
当时突厥多次騷扰边疆，朝廷因为元胄一向有威名，授给他灵州总管的职务，北方部族很害怕他。
后来征召回朝任右卫大将军，高祖对他更加亲密。
曾经有一个正月十五，高祖和贴身近臣登高赏月，当时元胄在值班，皇上下命令用快马把他招来，见到元胄，皇上对他说：“你与别人登高赏月，比不上和我一起登高好！”设宴招待，极其高兴。
晋王杨广常常向他致礼。
房陵王被废，元胄参与了谋划。
当时皇上正在追究处理东宫的事情，左卫大将军元竁苦苦劝谏皇上不要废黜太子，杨素于是进谗言诬陷元竁。
皇上很愤怒，拘留了元竁。
元胄此时值班时间已到，应该下班，但他没去，对皇上上奏说：“我不离开您，是为了防备元竁罢了。”又以这话激怒皇上，于是皇上杀了元竁，奖给元胄一千匹丝绸。
后来蜀王杨秀获罪，元胄因为和他有来往，被除去了官名。
炀帝即位，元胄得不到调迁。
当时慈州刺史上官政因事获罪被流放到岭南，将军丘和也因罪被废去官职。
元胄与丘和有老交情，于是经常和他往来，元胄曾经与丘和一起喝酒，喝到兴头上，说：“上官政是壮士啊！现在被发配到岭外，不会生事吧？”于是自己捂着心说：“我假如是你，不会白白地这样罢了。”丘和第二天将元胄的话启奏皇上，元胄竟因为这件事被杀了头。
于是皇上封上官政为骁卫将军，授给丘和代州刺史的职务。