康君立祖上世代为边镇豪强。唐朝乾符年间，康君立任云州牙校，为防御使段文楚的麾下。当时黄河以南诸侯并起，天下将要大乱，代北之地年年闹饥荒，诸部豪杰都有聚众起兵成就功业的志向。正在这时，段文楚稍稍削减了兵士的粮饷供给，于是军士怨声四起。康君立与薛铁山、程怀信、王行审、李存璋等人秘密谋划道：“段文楚是个懦弱之人，难以共举大事。如今全国各地盗贼群起，朝廷武威不振，大丈夫不能在此时立功建业，就不是人中豪杰。李振武父子勇冠诸军，我等应该顺势辅佐，那么代北之地，不日就可平定，我们的功名富贵也就指日可待了。”于是，康君立等人在夜间来到蔚州，拜见了刺史李克用，对他说道：“如今天下大乱，天子任命将臣来安定边境，然而今年刚遇到一点饥荒，就削减粮饷，我等守边之人，岂能坐等受死!我们应当一起除掉暴虐的主帅，以此来向边关将士谢罪!”李克用说道：“方今天子在上，举事应当有朝典，你们不要轻易议论。我的父亲远在振武，还请等我禀明之后再作打算。”康君立等人说道：“事机已经泄露，时间久了恐怕会生变故，哪里等得到千里禀报之后再行动啊!”于是众人拥立李克用为主帅。这一偶然间发生在蔚州的“帅袍加身”事件，为后唐的建立奠定了基础，因此可以说，康君立是后唐的第一功臣。
一路上，李克用招兵买马，等到了云州，部众已经达到将近1万人，军营驻扎在斗鸡台，云州城中将士捆绑了段文楚，来响应李克用的军队。攻取云州城之后，大家推举李克用为大同军防御留后。听到云州发生变故，唐朝朝廷不高兴了，下诏征兵前来讨伐。不久，李振武丢失了振武，李克用丢失了云州。朝廷命招讨使李钧、幽州李可举继续进军，在蔚州攻击李克用。康君立进击李可举的部队屡屡得胜，保住了李克用的队伍。当时正值黄起义军进长安，朝廷就任命李克用为雁门节度，李克用任命康君立为左都押牙，让他追随自己入关，驱逐黄巢义军，收复长安。李克用镇守太原后，授任康君立为检校工部尚书、先锋军使。之后，康君立又跟随李克用转战各地，立下汗马功劳。