康君立，蔚州兴唐人，世代为边地豪强。乾符年中，任云州牙校，事奉防御使段文楚。这时有大群强盗出没在黄河以南，天下将乱，代北仍然每年有饥荒，各部豪杰都有聚众起事，建立功业之心。碰上段文楚削减军人粮饷，兵士怨声四起。康君立和薛铁山、程怀信、王行审、李存璋等人谋划说：“段文楚是懦弱之人，很难和他共事。现在四方动乱，军威不振，大丈夫如不能在这时立功干一番事业，就不是人中豪杰。我们虽然暂且只是一般部将，但以雄强闻名于时的，莫如沙陀李氏部族，又有李振武父子勇武在诸军之首，我们联合起来推戴他们，则代北之地，个把月就可平定，功名富贵没有得不到的。”康君立等人便在晚上进见武皇，说：“现在天下大乱，天子把边防交给将臣，一碰上饥荒，便削减粮饷，我们这些守边士兵，怎么能等死！您家父子，一贯以威武施恩惠给五部，应当共同清除暴虐的主帅，以告谢边兵，有谁敢说不同意的话！”武皇说：“有英明的天子在上，做事应守朝廷法典，你们不要轻易乱发议论。我父亲远在振武军中，万一要逼迫我做事，也等我向父亲禀告。”康君立等人说：“机密已经泄漏，再推迟就要产生变乱，怎么能等到向千里之外禀告！”大伙因而聚集一起喧哗，拥立武皇，等到达云州时，已有万人之众，队伍在斗鸡台宿营，云州城中人抓住段文楚以响应武皇的军队。攻占云州后，推举武皇为大同防御留后。大家向上面报告，朝廷不高兴，下诏征兵前来讨伐。不久献祖失去振武军，武皇失去云州城，朝廷命招讨使李钧、幽州李可举对武皇用兵，在蔚州攻打武皇，康君立攻击李可举军队多次取胜。到献祖进入鞑靼后，康君立守住靶义军。武皇被授予雁门节度后，任康君立为左都押牙，随从入关，驱逐黄巢军队，收复长安。武皇回师镇守太原时，授康君立为检校工部尚书、先锋军使。
唐僖宗文德初年，李罕之失去河陽后，来归顺武皇，并且向他求援。武皇于是任康君立兼南面招讨使，任李存孝为副使，率二万军队，协助李罕之攻取河陽。三月，和汴将丁会、牛存节在氵允河交战，临阵时，骑将安休休叛变投向汴军，康君立撤退。八月，授汾州刺史。唐昭宗大顺元年(890)，潞州小校安居受反叛，武皇派康君立讨伐平定他，授检校左仆射、昭义节度使。自从武皇军队连年在邢州、氵名州攻占土地，攻击孟方立，康君立经常率泽潞的军队做掎角以配合夹击敌人。
景福初年(892)，授检校司徒，食邑千户。二年，李存孝占据邢州叛乱，武皇命令康君立讨伐他，因战功授检校太保。乾宁初年，李存孝被平定，康君立回师。李存孝死后，武皇深为惋惜，埋怨诸将没人来劝解。起初，李存信与李存孝不和，多次互相倾轧，而康君立一直和李存信关系好。九月，康君立到太原，武皇设酒席招待各位将军，谈到李存孝一事，流泪不止。这时康君立因一句话忤逆了武皇，武皇赐他饮毒酒而死，当时四十八岁。明宗即皇帝位后，因为念旧，下诏追赠为太傅。