洪遵字景严，洪皓的次子。在儿时就端正庄重如同成年人。随从老师学习文化，不因为天时寒暑而中止。父亲滞留北方沙漠，母亲去世，洪遵孺慕敬爱母亲，抱母号哭。安葬之后，兄弟便住在庙中学习文化，夜枕书籍不解衣安寝。由于父亲之故被荫补为承务郎，同兄长洪适同时参加博学宏词科考试，中首名，被赐为进士出身。高宗因洪皓出使远方，擢升他为秘书省正字。宋建立以来，考中博学宏词科便入馆任职，从洪遵开始。宰相秦桧儿子秦火喜任长官，谈笑之间提拔罢免官属，洪遵恬然自处不肯依附他，因此两年没有升迁。
洪皓南归，同朝廷议论不同，被逐出朝廷。洪遵于是请求外任，任常、婺、越三州通判。绍兴二十五年(1155)，汤思退推荐他，又入朝任正字。八月，兼权直学士院。汤鹏举任御史台长官，秘密推荐洪遵为御史。正当要下令时父亲去世消息传来。二十八年(1158)，免除服丧，奉诏入对，极力陈述父亲冤枉，说“：先父与龚王寿同时出使，龚王寿是在刘豫手下出任官职，因为肆意杀害兵官被刘豫诛杀，而秦桧追赠他节旄，擢用他的儿子。先父拒绝金朝的任命，滞留十五年才得以归来，反而被流放到南方岭外，臣兄弟也被屏弃在外。秦桧不分忠逆竟到了这种地步。”高宗详细地告诉了他洪皓被诽谤的情况，并且说：“你再次进入三馆，曾主持诏令，今天让你修起居注。”于是任命他为起居舍人。
洪遵上奏请求将经筵官的任免和封章进对、宴会赐予、讲读问答等事，汇编成一书，名字叫作《迩英记注》。此后乾道年间又有《祥曦殿记注》，实际上是从洪遵开始的。又乘当面问对之机，论述铸钱的利害得失，皇帝嘉奖采纳了他的意见。迁任起居郎兼枢密院都承旨。原来的制度，修注官、经筵官允许留身奏事，而近来没有这样的事例。洪遵上奏请求恢复旧制，并说起居注已有十五年没有修撰，请求除现修月进外，每月带修，皇帝都听从了他。
绍兴二十九年(1159)，任中书舍人。殿前偏将辅逵转任防御使，王纲转任团练使，洪遵说：“近来规定管军官十年才能一迁，现在两人任期不满，怎么能得此官职？”当时勋臣子孙大都超越等级位居台省，洪遵极力论说请求明令禁止。高宗说“：正立法，从今以后功臣子孙可以序迁至侍从，并令久任在京宫观。”洪遵说“：侍从，是朝廷高级官职，如不是磨勘阶官，怎么有迁序之制？”回家后又上奏说“：今内外将领不少于二十人，如果用序迁，不出十年，宫廷次对的官职都能得到。太祖开国功臣子孙官职不过各司，只有曹彬的儿子曹琮、曹玮由于自己奋斗得到功名，于是成为节度使，当初没有听说有递迁侍从的例子。今天诏旨一下，使肃穆清闲显要的机构都充满将帅子孙，不是昭示天下的好办法，希望收回前面的诏令。”又说：“瑞昌、兴国之间茶商失业，聚集为盗贼。希望张贴布告晓谕他们，允许他们悔过自新，愿意充军的填刺充军，愿意种田的放归。”皇帝都准许了他的奏议。
议论者要恢复鄱阳永平、永丰两监鼓铸，诏令给、舍等有关部门商议，洪遵说“：唐代有鼓铸使，本朝有时以漕臣兼领，有时分道设使，由三司管理。自南渡以后，设置都大提点，官属太多，动辄为害州县。中间急忙废罢，又没有一定之规，当初委托转运使，又委托提刑，又委托郡守管理，号令不一，鼓铸日益减少。我私下认为以恢复鼓监为便。”
绍兴三十年(1160)正月，任吏部侍郎。过去选官到府曹改秩，官吏依靠手中权力买卖官职，丝毫不中意，必然巧生各种关节阻碍，必须贿赂得到满足为止。洪遵明确约定，如果大体上没有缺点，应先行后审，荐员也应有定额，而举荐的人却卖权弄奸，巧为周章，有的同时一章而分为两牍，有的应当推荐五人而动辄超越十人，有的应当举荐为职官而诡任京官，有的身系常调而妄称职司，有的东西分曹而交错搀补，有的已被复夺而指称事故，件析枚数，请求凡像这样的一律弹劾。旧制，官员退休保任子弟授予官职，随所在地区审查后即授予官职。这时，听从言者请求，必令到原籍州县审核奏请。洪遵说“：士大夫有到粤、蜀任官，数千里外，不幸死去。临终辞去官职，家属返回故里已十分艰难，现在又因此龃龉，反复拖延，是公开给恶吏提供方便。”于是停止仍依旧制。
平江、湖、秀三州发生水灾，没办法交纳秋赋，有关部门下令交纳小麦。洪遵说“：麦价不在半价之下，民众如此困苦，怎么能以夏税当作秋税，将一衍生为二，使他们背井离乡流落沟壑之中呢？希望酌量取其一半，而遭水灾的全部免除。”金朝来索取绛阳郭小的、安化刘孝恭等二百家，洪遵以为蜀朝的李特事件可作为借鉴，希望以根集不足为由，拖延时间回报金朝。迁任翰林学士兼吏部尚书。王澈弹劾汤思退罢相位时，洪遵草拟的制词中没有贬语，汪澈以此上奏。洪遵于是请求解除职务，以徽猷阁直学士的身份提举太平兴国宫。
绍兴三十一年(1161)，金主完颜亮命令尚书苏保衡从海路窥视两浙，朝廷命浙西总管李宝率兵抵御。李宝驻兵平江，守将李翊同李宝素来不和，朝廷议论因洪遵曾经推荐李宝，于是命令洪遵知平江。等到李宝率领水军直捣胶西，凡是物资粮饷、器械、舟船等都是洪遵供应，李宝战胜归来，洪遵给予的帮助最多。高宗到金陵，禁卫士兵索求无厌，其他州郡随时供给也不满足。到达吴郡，士兵相互警告说：“洪内翰在此，你不能像过去那样。”原来，朝廷顾忌商船被金军得到，全部拘留到官府，以后没有归还，沿海州县巨舰全部集中以及召募的水手、民兵，都羁留不得离开。洪遵通过面奏论说，将船只交还商人，水手听其自便，吴郡人都感激他。
孝宗即位后，拜洪遵为翰林学士承旨兼侍读。诏问宰执、侍从、台谏说“：敌人前来索要旧礼，听从它则不忍屈服，不听从则边患不已。中原归顺的人源源不断地前来，接纳他们则东南地区财力不能补给，拒绝他们又断绝他们向化归顺的希望。应当讨论做出决定上报。”洪遵同给事中金安节、中书舍人唐文若、超居郎周必大共同提出一项建议，大概是说：“不应当直接拒绝他们，也不能立即屈从答应，应当送给他们金缯数目如同以前一样，或者允许归还侵地如海、泗之类，那么金也可以此为借口前来商议了。”
主持隆兴元年(1163)贡举考试，任同知枢密院事。寿康殿长出十二枝金芝，同列官员议上表祝贺，洪遵引用李文靖上奏灾异的故事劝止他们。推荐眉山的李焘、永嘉的郑伯熊和林光朝，还没有来得及任用，恰逢汤思退任左相，而右相张浚被罢免，御史周..论说洪遵越级升迁，上奏弹劾，孝宗急忙徙任他官。洪遵不安于新职，连续上章请求免职，最后同御史一同去职。这年七月，洪遵以端明殿学士的身份提举太平兴国宫。
乾道六年(1170)，洪遵起知信州。徙知太平州。前任知州周..因为曾经弹劾洪遵，听说洪遵前来，不待交付印符就骑马离开。洪遵追赶十里为他送行，嘘寒问暖如同平时，说：“你是按职行事，我有什么埋怨？”听说的人都认为洪遵品德十分高尚。圩田毁坏，民众失业，洪遵召集民众修筑圩田共万余。当时正值隆冬，洪遵亲自深入到民众间，载着酒饭亲自慰问，恩意倾尽，民众忘记劳苦。转运使张松嫉妒他的功劳，妄奏圩田没有毁坏，民众也没有迁徙，而是洪遵强迫圩户修筑，并裁减募工钱米的一半。洪遵接连上章抗争，甚至请求派大臣前来核查按视。于是将作少监马希言、监察御史陈举善遵命前来核查，他们同洪遵十分亲近，废黜张松之言，圩田遂成，共四百五十五处。张松没有地方发泄怨愤，就另外修治溧水永丰圩，前来征调劳力、大米、树木，数目很大。洪遵说“：本郡正当歉收之时，正应赈恤流离的民众，劝分乞籴，如同自割股肉以充饥，自己都不够吃，哪里还能让他人吃饱呢？”坚持不从。
楚地大旱，旁县赈济的人没有及早考虑，措施失当，有的得到米而没办法煮熟，有的全家饥饿而赈米不足。洪遵派出官员，随远近老壮的不同分别供给粮食，免除租税的十分之九，又从江西买进粮食，得以活命的数以万计。戍兵乘饥荒盗窃，结成团伙在外剽夺，洪遵将他们全部拘捕归还其军中。因此遭遇大灾荒而境内安然如故。转知建康府、江东安抚使兼行宫留守。孝宗晓谕当制舍人范成大，褒奖他的政绩，准许他入朝觐见。
当时虞允文当政，有北伐的志向。先调侍卫马军出屯，其中在建康府的有五军，全部携带家属，计划修筑营寨，差不多有万灶。张松无能被罢免，特令洪遵同宰执到选德殿奏事。洪遵上奏外官不敢尾随两府之后，希望等班退之后别引，皇帝不许。进资政殿学士后遣行。到建康即张贴布告，民众苗米只能交纳正品而不能交纳次品，听任民众自己持斛丈量，主持谷仓的人不能轻重其手。遍行郊野测量立营扎寨之处，寻求不妨碍民居、不夷平冢墓的地方，经过一年才找到。有一营卒醉酒，妄言动众，将他斩首，在集市上分尸，全军无人敢于喧哗。有人白天入旗亭拿刀毁弃垆墓，械送狱中，快马上奏没有回报，统帅害怕遭到谴责，请求自己处治。孝宗大怒，罢免统帅，洪遵也被牵连贬去两秩。不久，五座营寨建成，复任原官，仍任资政殿学士。淳熙元年(1174)，提举洞霄宫。十一月，去世，时年五十五岁，谥号“文安”。