奚斤是代地人，祖辈一直掌管马匹。父亲名箪，很受昭成皇帝的宠信。当时，国内有匹良马名“马呙马卯”，一天晚上忽然失踪了。后来才知道是南部大人刘库仁盗走的，养在窟室里。箪闻信立即奔驰前去取马。刘库仁因是皇帝外甥自恃受宠，恼羞成怒便在中途击箪，箪揪落了他的头发，打伤他的一只乳房。所以，当苻坚派遣刘库仁和卫辰分别统率大军时，箪很害怕，就投奔了卫辰。等道武帝灭卫辰后，箪已是晚回朝廷了，所以他的名位排在其他旧臣之后。
奚斤为人机智善辩很有见识。登国初年，跟长孙肥等一起统率禁兵。后来又被任命为侍郎，成为皇帝的左右亲信，并跟随到参合征讨慕容宝。皇始初年，被任命为越骑校尉，掌管皇宫的宿卫禁旅。皇帝车驾回京城后，博陵、渤海、章武等郡群盗四起，奚斤和略阳公元遵等领兵一一讨平。后又跟皇帝出征，击破高车诸部。接着又破厍狄、宥连部，把其余各部落的人迁移到塞南。又进击侯莫陈部，直打到大峨谷，在那里设置了防守部队后才回兵。于是升为都水使者，派出当晋兵将军、幽州刺史，封爵为山阳侯。
明元帝即位后，被任命为郑兵将军。皇帝下诏说奚斤一家世代忠孝，追赠他的父亲箪为长宁子。明元帝巡幸云中时，奚斤留守京城。昌黎王慕容伯儿谋反，奚斤用计把他召到天安殿的东庑下杀掉。明元帝下旨让奚斤和南平公长孙嵩等都坐镇朝堂，判决囚徒。明元皇帝去东郊大阅兵。讲习武艺，由奚斤兼左丞相职，在石会山进行大围猎。当皇帝西巡时，诏令奚斤为先锋，到鹿那山征讨越勒部，大败越勒部人。皇帝又传诏让奚斤和长孙嵩等八人在止车门右侧办公，听理国家各种重要事务。同时，任命他为天部大人，晋为公爵。让奚斤出入时，乘坐轻车，前面有仪仗队开道。
太武帝以皇太子的身份临朝听政时，以奚斤为左辅政大臣。宋废帝义符继位时，其国内混乱。太武帝派遣奚斤攻打河南一带，并交给他节杖，任命他为都督前锋诸军事、司空、晋兵大将军兼扬州刺史，率领吴兵将军公孙表等南征。他采用公孙表的计谋攻打滑台，可是未能攻下，便请求朝廷增派援兵。皇帝对奚斤没有先占领地盘而去进攻滑台的作法十分恼怒，便严厉斥责了他。于是，太武帝亲自领兵南征，来到中山。奚斤立即从滑台赶往洛阳，并长驱直到武牢关，终于平定了兖州和豫州诸郡。接着又回兵围困武牢关。攻破武牢关后，奚斤在这里设置了守关的官员。从北魏初年以来，大将领兵出征，只有长孙嵩抵御宋武帝和奚斤征伐河南时，朝廷特别赐给了计时的漏刻和十二牙旗。
太武帝即位后，奚斤晋爵为宜城王，仍当司空。太武帝攻打赫连昌时，派奚斤率领义兵将军封礼等人袭击蒲坂。奚斤接着又西出占领了长安，秦、雍一带的氐羌族人都来归顺。奚斤和赫连定两军相持不下，奚斤多次打败赫连定。赫连定听到赫连昌兵败的消息后，退往上圭阝，奚斤一直追击到雍地，没能追上才领兵退回。太武帝传旨让奚斤班师回朝，而奚斤却请求乘敌军兵败势危时一举扫平。于是，他又领兵进入安定。赫连昌被迫退保平凉，奚斤于是屯兵于安定，由于军粮断绝而且战马伤亡过多，奚斤便在安定筑深壕和高墙坚守。这时，监军侍御史安颉攻打赫连昌，并抓住了他。赫连昌的部众便拥立赫连昌的弟弟赫连定为主帅，坚守平凉。奚斤觉得自己身为元帅但抓赫连昌的功劳却不在自己，深感耻辱。于是，便舍弃了辎重，前往平凉追击赫连定。赫连定率领众将出阵对敌，这时，正好奚斤军中有个小将因犯罪而出逃，投奔贼兵，并将奚斤军情如实告诉了赫连定。赫连定知道奚斤军中断粮，便不正面作战，而是在奚斤前后不停地骚扰拦击，奚斤的部众很快溃败，奚斤和部将娥清、刘拔一起被赫连定俘虏了。后来太武帝攻下平凉，奚斤等人才得以回朝。他被免官并充当宰夫，让他背着酒和食品跟从皇帝车驾回到东都。以此来羞辱他。不久，又封他为安东将军，降为公爵。
太延初年，任卫尉，改封为恒农王。后来又任万骑大将军。太武帝提议讨伐凉州时，奚斤等三十多人一起商议认为不宜行动，可是太武帝不肯听从。凉州平定时，奚斤因立战功而得到了赏赐的僮隶户七十家。又考虑到奚斤年纪大了，皇帝赐给他安车，让他主持判决各种诉讼案件，同时访察朝政得失，提供处置意见。
奚斤灵敏善辩，博闻多识，善于言谈，议论起先朝的各种事情，虽然未必完全正确，却往往有个人独到的见解，听到的人对此十分赞叹称誉。每当议论朝廷的大政时，意见时常被采纳应用，朝廷上下都十分赞许。太平真君九年(448)逝世，享年八十九岁。太武皇帝亲临吊唁，悲痛万分，谥号“昭王”。奚斤有几十位妻妾，二十多个儿子。
长子他观承袭了奚斤的爵位。太武皇帝说“：奚斤西征失败，国家自有正常的刑罚。因为奚斤是先朝的辅政大臣，所以又恢复了他的爵位和俸禄，期望他像当年的孟明视一样继续为国建功。如今奚斤已终享天年，君臣的名分也就保全了。”于是将他观降为公爵。他观的封国一直传到孙子绪，由于绪没有儿子，朝廷收回了封地。太和年间，孝文帝追记前朝的功臣，让奚斤配祭于帝庙之中。宣武帝继封绝禄的世家子弟时，封了绪的弟弟的儿子监来继承奚斤的爵位。