高谦之，字道让，高道穆的哥哥。少年以侍奉后母孝顺闻名。他专心致志地学习经典史籍，对于天文、算术、历法、占卜图谶之类的书籍，也多有涉猎。喜好写文章，又留心于《老子》、《易经》。后来他继承了父亲的爵位。
孝昌年间，他代理河阴县令。原先，有一个人用布袋装上瓦砾片，诈称是钱币，到集市上骗买别人的马匹，然后逃去。朝廷下诏命地方追捕罪犯，一定要将案情报告朝廷。谦之便将一名在押旧犯戴上枷锁，让他站到马市上示众，说这就是前些时候诈骗马匹的骗子，今天想对他施以大刑。然后他派心腹查访集市上私下议论的人们，有两个人见面非常高兴，说：“我们不用再担忧了。”心腹把他们扭送到衙门审问，将他们所有的同伙全部抓获，并查出窝藏赃物的地方。丢东西的人家，都找回了丢失的东西，他把案件处理的情况报告给朝廷。不久，正式任他为河阴县令。在县任职三年，革新政治，大多采用历史上有益的旧例。这时，他的兄弟高道穆任御史，也博得美好的名声，人们称赞他们父子兄弟都享有当官的美好声誉。
旧制规定，京郊的两位县令可以当面向皇帝陈奏当地政治得失。当时，由于受宠幸的佞臣害怕他们的劣迹被揭发，便一起奏报朝廷，要废除这项规定。高谦之上奏朝廷说：“我没有才能，侥幸管理河阴县，实在想着奉公守法，不屈不挠，尽职尽责，以酬报朝廷对我无法估量的恩德，尽到我做臣子为国家守土安民的职责。但是，那些豪门大姓的旁支近亲，帝王与外戚们的亲戚朋友，盘根错节，到处都是。他们都有邪恶之人憎恶正直人的面色，有蔑视上官的傲慢之心。县令职轻力弱，怎能制服他们？先帝过去曾明确下诏，允许县令当面陈奏。我已去世的父亲高崇曾任洛阳县的县令，常常入宫陈奏地方上的政情，所以，朝廷的王公贵族都自我约束，不敢干涉该县的政事。近几年以来，这条规定已经废除，所以，使得天下首县威望降低，下情不能上达。现在，太后和皇帝遵循尧、舜的治国之道，按照高祖孝文帝的典章制度管理朝政，愚臣我也希望尽自己的微薄之力，为国家多少树立些功名。请求在实行新制度的同时，也能恢复过去一些有益的规定。这样，那些奸恶豪纵之徒就会自我约束，更加小心谨慎。”朝廷下诏交付外廷讨论。
高谦之又上疏言事，认为：“自从正光年以来，边境城镇多次被骚扰，受命出师征讨的军队，在路途上往来不断。但是，将帅们有些并非是能打仗的人才，大多派遣他们的亲属，妄称是应征入伍，实际上是他们的亲属又派自己的家丁奴仆充数罢了。一旦与敌人对垒，连弓都拉不开。这样，实则是让朝廷空封了一些王爵，征战的士卒又大多缺失，敌人怎么能被消灭？勇敢忠贞的人又怎么能够被劝诫鼓舞呢？况且，接近天子的侍臣，向朝臣们推荐自己的亲属，请托官员替自己办事，擅自作威作福。如果有清廉贞洁，不替他们回护或不接受请托的，他们就一起攻击诋毁，使人家横遭罪名和惩罚。朝臣们为此胆怯徘徊，谁还敢向朝廷奏闻？欺上瞒下，败坏风气，危害朝政，使得谗言害人者为所欲为，忠贞诚实的人压抑着自己的满腔正义。另外，多年以来，常常征兵讨伐，人民不堪忍受，动不动就背井离乡，以保全妻子儿女的性命，竞相逃脱国家的劳役，不再种植桑田，都是由于害怕刑律的制裁。所以，他们回来，还会被困难滋扰，没有一条能自我保全的道路。如果允许他们归来从事原来的职业，重新甄别，并减轻他们的徭役，那么，回来的人一定很多，被开垦的土地也会增加，数年之后，国家就会收到大量的租税。现在，不按照情理让他们还乡，只想凭着严格的命令逼迫他们，恐怕几年之后流失的人口更多。所以，有国有家，就不担心人家不归顺我们，只担心我们的政治不清明；不要侥幸地想着敌人不进攻我们，而要依赖我们强不可侮。这是千百年来共同遵守、百代帝王认识一致的道理。谨望能稍有垂览省察。”灵太后看到他的奏章，借此责备左右侍臣。这些受宠的政要们因此非常妒恨他，便启奏灵太后，说他很有学问，便将他从河阴县调离，任命为国子博士。
高谦之与袁翻、常景、郦道元、温子升等人都喜欢恪守过去的典章制度，对贫穷无告的人喜好布施抚恤，讲究信义，允诺的事情从不落空。对待家里的奴仆，从不当着儿女的面去鞭打他们的父母。生三个儿子的奴仆，便免去他们奴仆的身份。从不对奴婢施行髡刑和黥刑，常常说：“都是人的身体，为什么要加以残害？”他因五舅父沮渠蒙逊曾据守凉州一带，而国书上却没有记载，便撰写了《凉书》十卷，刊行于世。凉国盛行佛教，他写文章贬斥，称佛教是九流中的一家。当世的名流学士，竞相用佛理向他发难诘问，他也用佛教的义理来应付，论敌竟不能使他屈服。因为当时流行的历法不尽完善，他便重新修改撰写，成为独立一家的历法。虽然没有在社会上流行传播，懂行的人都佩服他具有多方面的才能。
这时，朝廷商讨铸造钱币的事，便命高谦之为铸钱都将长史。他便上表请求铸造三铢钱，说：
“钱币的出现，本来是用它作媒介使交换双方互通有无，方便交易。所以，钱币分量的轻重，各个朝代都不相同。姜太公为周创立了使财帛流通的九府圜法。到了东周景王姬贵时，进一步铸造较大的金属币。秦朝统一中国，铸造的钱有半两重。汉朝建立，因秦代的钱币太重，改铸为重量较轻的榆荚钱。到了孝文帝五年(前184)，又铸造四铢钱。孝武帝刘彻时，又全部销毁，改铸为三铢钱。到汉武帝元狩年间，又变成了五铢钱，并铸造了赤仄钱，以一当五。王莽当政，钱币分为六等，大钱重十二铢，其他依次为七铢、五铢、三铢、一铢。魏文帝废除了五铢钱，明帝曹睿重又恢复。孙权在江东铸造重量很大的钱，以一当五百。孙权赤乌年间，又铸造大钱，以一当千。钱的轻重和大小，无不随着朝代的变化而变化。
“我认为理财的要旨，要把国家施政必不可少的八个方面放在首位。聚集财富的重要，都保留在经典著作中。所以，古代的帝王借着天地赐予的丰饶的条件，驾驭着天下的财富，无不在太仓中贮存上足够的粮食，在钱库里存放着充足的货币。储蓄既然充盈，人民就不会困苦，这样就使四海安静无事，就像自己的身体挥动胳膊那样方便。
“现在，天下寇乱没有平息，四方的边境战争不断，赋税烦苛，日费千金。仓库的储蓄渐渐耗尽，国家的财用行将枯竭，实在是到了杨氏献税、桑儿言利的时候了。以西京的兴盛，前代铸钱还屡次改动，大的和小的，重的和轻的都一起流行。更何况现今敌寇没有被消灭，州郡沦丧，人民疲敝，国家和军队的开支越来越紧，另外铸造小钱，可以增加钱的数量，对朝廷有什么损失，对百姓有什么妨害呢？况且，国家兴盛不是因为钱铸造得大，国家衰败也不是因为钱铸造得小，最重要的是公私各得其所，政治教化不受影响。这种办法古代既然能够通行，也应该在今天产生作用。”
朝廷将下诏按他的建议去办，事情还没有实行，他就去世了。
早先，谦之的弟弟道穆在正光时任御史，曾弹劾相州刺史李世哲，颇使李世哲遭到打击，他全家对此都怀恨在心。这时，李世哲的兄弟李神轨被灵太后重用，恰巧，谦之的家僮诬告主人，李神轨将家僮控制，到尚书那里告了高谦之一状，因而将他关进廷尉的监狱。将要释放，李神轨又奏报灵太后，下诏在监狱里赐他自尽。朝臣们无不为他悲哀。他写的文章有一百多篇，另有文集。永安年间，追赠他为营州刺史，谥号为康。