颜师伯字长深，是颜竣的族兄。父亲颜邵，刚正而有气力，是谢晦的领军司马。谢晦镇守江陵，请他担任咨议参军，兼任录事，军府事务全都委托给他。颜邵担心谢晦会有祸患，请求担任竟陵太守。还没有到任，就赶上谢晦被讨伐，颜邵饮药而死。
颜师伯少年的时候孤独贫困，涉猎群书，能解声乐。弟弟颜师仲的妻子，是臧质的女儿。臧质做徐州的长官，聘任颜师伯为主簿。孝武帝掌管徐州，颜师伯仍然做辅国安北行参军。王景文当时做咨议参军，喜爱他的诙谐机敏，推荐给孝武帝，让他做徐州主簿。他善于迎合，大受信赖。后来离开军镇，颜师伯以主簿送走了故人。
孝武帝镇守寻陽，启奏文帝请求让颜师伯担任南中郎府主簿，文帝不答应，对典签说：“中郎府主簿，怎能用颜师伯？”孝武帝启奏让他担任长流正佐，文帝又说：“朝廷不能任命他，我儿可以自己聘用，然而也不宜聘为长流。”于是聘为参军刑狱。等后来讨伐元凶劭，转为主簿。
孝武帝登基，让他做了黄门侍郎，逐步升为侍中。大明元年(457)，封为平都县子。极受宠幸，群臣中没有第二人可比。他大量纳贿，家中累积千金。孝武帝曾经与颜师伯玩詂..，孝武帝掷了一个雉，非常高兴，认为必胜。颜师伯随后掷了一个卢，孝武帝不禁失色，颜师伯立即把子收起说：“几乎是个卢。”这一天，颜师伯一输百万。于是升迁为吏部尚书、右军将军。皇上不愿意让威权落在下面，前后主管选辟的人都只是执行文书，而颜师伯专情独断，所奏无不获准。
大明七年(463)，他做尚书右仆射。当时分置两个选辟机构，陈郡人谢庄、琅笽人王昙生同任吏部尚书。颜师伯的儿子举荐和他交往的贫寒人张奇为公车令，皇上因为张奇资格不当，让他兼任市买丞，以蔡惠道代替他。令史潘道栖、褚道惠、颜..之、元从夫、任澹之、石道儿、黄难、周公选等扣压了给蔡道惠的诏令，让张奇先到公车，不施行张奇兼市买丞的工作。颜师伯因为儿子干预公职而获罪，谢庄、王昙生免官，潘道栖、褚道惠处斩，颜..之等六人杖打一百。颜师伯不久兼任太子中庶子，虽然被贬黜，而受信任仍如同从前。
孝武帝逝世，颜师伯接受遗诏辅助幼主，尚书省的事务专门委托给他。废帝即位，又给他由代理改为实授，并且兼任卫尉。
颜师伯掌权日子久了，天下归聚，常和他家来往的人，爵位无不超越本分。贪污纳贿很多，家产丰厚，妓妾声乐，尽是天下精华，园池宅院，冠绝当时社会，骄奢婬逸，为士大夫所愤恨。又改任尚书仆射兼丹陽尹。废帝想亲理朝政，转任颜师伯为左仆射。以吏部尚书王景文为右仆射。除去了他的京尹职务，又分割了他的台省职权。颜师伯到现在才开始害怕，与柳元景谋划废立皇帝。
起初，颜师伯专断朝廷事务，不与沈庆之商量，他对令史说：“沈公不过是皇上的爪牙，怎么能参与政治事务呢？”沈庆之听说后切齿痛恨，便泄露了他们的陰谋。不久他与太宰江夏王刘义恭一同被诛，六个儿子都被杀死。明帝即位后，追加谥号荒。