高肇字首文，文昭皇太后的兄长。自称祖先渤海..人。五世祖高顾，晋永嘉中，躲避战乱进入高丽。父亲高..，字法..。北魏孝文帝初年，和弟弟乘信及其同乡韩内、冀福等人进入北魏，任厉威将军，封爵河间子。乘信任明威将军。孝文帝都用对待客人的礼节对待他们，于是就娶高..的女儿，这就是文昭皇后，生宣武帝元恪。高..死。景明初年，宣武帝追思舅氏，征召高肇兄弟等人。录尚书事、北海王元详等人上奏称，高..应追赠左光禄大夫，赐爵渤海公，谥号曰敬。其妻盖氏，应追封为清河郡君。诏令准许。又诏令高..的长孙高孟袭封渤海公爵位，封高肇为平原郡公，高肇的弟弟高显为澄城郡公。三人同一天接受封赠。开始的时候，宣武帝没有和舅家人相互通气，就赐给他们衣服巾帻，在华林都亭接见高肇、高显兄弟。兄弟二人都非常惊慌恐惧，举动有失礼仪。几天之间，就富贵显赫起来。这一年，咸阳王元禧被诛杀，其所拥有的财物珍宝、奴婢、田宅等大都归入高氏。不久，高肇任尚书右仆射、冀州大中正，娶宣武帝的姑姑高平公主，升任尚书令。
高肇生在异国土地，当时的舆论都轻视他，等他官居要职，留心朝中各种政务，孜孜不倦，世人才都称他有才干。宣武帝初年，六辅独揽政权，后来因咸阳王元禧无缘无故地造反作乱，因此把政权交给高肇。高肇既然没有亲族，就大结党羽，依附高肇的人，很快就被越级提升，违背他的人就用大罪陷害。因为北海王元详官位在他上面，就罗织罪名将其杀害。又劝说宣武帝防备诸王，宣武帝几乎等同于被囚禁。当时，顺皇后突然死亡，世人的议论说是高肇干的。皇子元昌死，都说是王显医疗失误，是秉承高肇的旨意。京兆王元愉出外任冀州刺史，畏惧高肇恣意擅权，以至于图谋不轨。高肇又上谗言杀害彭城王元勰。因此，朝廷内外都对高肇侧目而视，都畏惧和憎恨他。高肇因此而独揽大权，生杀予夺全由自己。又曾经和清河王元怿，在云龙门外堂下突然间争执起来，闹得乱哄哄的。太尉、高阳王元雍调和劝止了他们。高后既被立为皇后，高肇更加受到宠信。高肇既已主持朝政，每一件事都由自己裁决，本来就没有什么学问见识，动不动就违背礼仪法度。喜欢改前朝原有的制度，削减封赠的俸禄，压抑罢免有功之人，因此而怨声载道。
宣武帝延昌初年，改任司徒。高肇虽然身居三公，还因为没能居于要职而不满意，众人都嗤笑他。父兄受到封赠虽然很久，竟然不予改葬。延昌三年(514)，才诏令还葬，高肇自己不亲临前往，只是派遣哥哥的儿子高猛改换服装到代都，迁葬于家乡。当时的人认为高肇没有见识，哂笑他而不加责备。大举征讨蜀时，任命高肇为大将军、都督诸军，诸军由高肇指挥。高肇和都督甄琛等二十多人，都一起在东堂向宣武帝辞行，亲自陈说经营谋略。这一天，高肇乘坐的骏马，停在神兽门外，无缘无故地受惊卧倒，翻滚到水渠中，马鞍散了架，众人都感到奇怪。高肇出宫后，对此亦感厌恶。
延昌四年(515)，宣武帝驾崩，大赦天下，解散远征军。北魏孝明帝元诩致书高肇和征南将军元遥等人，称宣武驾崩而报告凶信。高肇遇此变故，不仅仰望思慕，也担心身遭祸患，每天从早到晚悲痛哭泣，以至于身体羸弱憔悴。快到洛阳时，停宿鏶涧驿亭，家里的人夜里去迎接看视，高肇对家人都不看一眼，一直到宫门楼下，身着丧服，大声痛哭，登上太极殿，哀痛至极。太尉高阳王元雍先居于西柏堂，独揽各种事务，和领军于忠密谋，想除掉高肇。偷偷地在舍人省下埋伏精壮武士直寝邢豹、伊盆生等十多人，高肇在宣武帝的棺材前哭祭过后，高阳王在文武百官面前将高肇的领进西廊，清河王元怿、任城王元澄和诸王等都看着高肇窃窃私语。高肇进入舍人省，埋伏的壮士就又掐又拉把高肇杀死，传下诏书，宣布高肇的罪恶，说高肇是自尽。高肇的亲信余党都不加追究，削除高肇的官职爵位，用士的礼仪安葬。到了黄昏，才从厕所门将高肇的尸体运出送回家中。当初，高肇西征，行至函谷关，车轴从中折断，跟随的人都认为高肇不能平安而回。灵太后临朝执政，特意命令追赠高肇为营州刺史。永熙二年(533)，孝武帝追赠高肇使持节、侍中、中外诸军事、太师、大丞相、太尉公、录尚书事、冀州刺史。