顾觊之字伟仁，是吴郡吴县人。他的高祖顾谦字公让，是晋朝的平原内史陆机的姐夫。祖父顾崇，是大司农。父亲顾黄老，是司徒左西曹掾。
顾觊之担任谢晦的卫军参军，谢晦喜欢他文雅素净，深深地相知相待。他历任尚书都官郎。殷景文、刘义康之间的矛盾已经很显著，顾觊之不愿意与殷景仁长久地接触，于是就以脚病为理由辞官回家。每天夜里常常在床上行走，家里人暗中诧异而不晓得他的用意。等刘义康免官流放，朝廷中的人有很多都遭了祸，顾觊之终于免遭不幸。
后来做了山陰令。山陰是个难以治理的地方，共三万户，前后任职的长官昼夜不得休息，事情还是办不好。顾觊之用简约的方法来统御复杂的情况，县里因而没有事情。白天垂着帘子，门庭清闲，自从宋朝以来治理山陰，事务简约而局面良好的，没有人能超过他。
后来做尚书吏部郎。曾经在文帝的座位前论说江东人物，说到了顾荣，袁淑对顾觊之说：“你们南方人怯懦，怎么能办作贼的人？”顾觊之严肃地说：“您这是把忠义作为取笑人的理由。”袁淑面有愧色。孝建年间(454～456)，担任湘州刺史，以政绩而著称。
大明元年(457)，征调他为度支尚书，转任吏部尚书。当时沛郡相县的唐赐前往邻村彭家饮酒回家，就此得了病，吐出毒虫二十多条。唐赐的妻子张氏依照唐赐临终的遗言，死后亲自剖开他的肚子，五脏都糜烂破碎了。郡县官方因为张氏残忍地进行解剖，唐赐的儿子唐副又不禁止，判她为妻子伤害丈夫，服五年徒刑，儿子不孝顺父母，斩首示众。这些都不是法律条文。三公郎刘勰认为：“唐赐的妻子痛心地遵从遗言，儿子明白人死是自然现象，根据事实推究他们的心情，并不在于忍心残害，应该予以同情。”顾觊之认为：“以妻子和儿子的身份而做出残忍苛苦的事情，不应该无原则地疏通小的感情，我认为唐副是不孝，张氏和他一样很不仁道。”诏令按照顾觊之的议论执行。
后来顾觊之担任吴郡太守，得宠大臣戴法兴权力压过皇上，而顾觊之不曾向他低过头。左光禄大夫蔡兴宗与顾觊之友好，嫌他风节过于严峻。顾觊之道：“辛毗说过，孙、刘不过让我不做三公罢了。”他后来死于湘州刺史任上，谥号为简子。
顾觊之家门和睦，被同州郡的人们所尊重。儿子顾绰私人财产十分丰富，同乡的士人和平民有很多人欠他的债，顾觊之禁止他不能奏效。等后来掌管吴郡，诱骗他拿出了文契一大厨，全部让人烧掉。宣告给远近各地的人们，都不需要再来偿还，顾绰懊悔叹息了整整一天。
顾觊之常常认定命运都有固定的职分，不是智力所能转移的，只应该恭守自己的本分，信凭天命。而昏昧的人不明达，妄求侥幸，徒然损坏了雅道，与得失无关。于是便以他的这种意思，让他的侄子顾愿作了一篇《命定论》。
顾愿字子恭，父亲是顾深之，为散骑侍郎。顾愿喜爱学习，有才学和词采，死在太子舍人任上。