起初，他家里有三头毛驴，靠给别人驮货为生。后因为下手狠辣，被当地一个财主看中，要他做了自己的马弁。财主从日本买了左轮手枪一把，子弹三百粒，交予康小八，让他做自己随扈。但由于其生性顽劣，有朋友劝说财主：“康小八的家底就那三头驴，他要是惹了麻烦，你可是家大业大。”于是，财主就想要回手枪，可康小八说：“若是遇到麻烦，你跟人说话时候，我一枪上去不就了结了他嘛?你拿枪有什么用?”那财主每年在京城和老家两头跑，一日，他带康小八回家拿钱，出了德胜门，看两边的庄稼地显得十分荒凉，心里有些害怕，就想回城。康小八问他：“你是不是害怕呀?害怕，这枪就给你拿着。”财主正要接枪，却被康小八一枪打死。自此，康小八就真的没人管得了，不停地闯祸惹事。
一日，康小八在“剃头棚”理发，剃头匠和一位等候刮脸的老顾客闲谈。二人大骂康小八“净胡来”，“将来不得好死”。康理完发后问二人曰：“你俩认识康小八吗?”二人回答说：“谁认识这种混帐东西。”康嘿嘿一笑曰：“那么康八爷叫你俩当个明白鬼吧。”说着拔出枪来说将二人击毙，对另一个等候理发的顾客说：“算你走运，这两个混蛋骂康八爷时，你有口德，没有搭腔。我就留着你这张嘴，给想多活几天的人传个信，少在背后对康八爷说三道四的。”康小八被清廷通缉，躲到了口外，清廷无法缉拿。
后其一个表弟，昌平一杨姓捕快知道了他的下落，装作意外碰上的，告知其母亲有病而骗其回了老家。最终，康小八被形意拳名家尚云祥、马玉堂等擒获，有一出剧目《东皇庄》演绎的就是这个故事。不过，据一同擒获康小八的，马玉堂大师曾经说过，康小八并没有戏剧里说的武功高强，其最大的倚仗就是一把日本造的左轮手枪。
老北京关于剐刑的种种传闻，大多来自康犯行刑时的“目击者”。其实康小八行刑的时间不是在午时三刻，而是在黎明时分，目击者不算太多。当时剐刑已经久不使用，而且《大清律》上也无凌迟行刑的具体条款，所以执行者草草地了结了这条恶棍。有个传说，剐刑一般都是先在受刑人额头上下刀，将皮遮住眼睛，以减少其恐惧。而康小八却不让割，告诉刽子手，“别遮我眼睛，康八太爷要看着你怎么把我弄死。”行刑过程中，他一声没吭，旁边一个监刑官觉得他硬气，让人用钢针捅了他心脏，迅速结果了他。不过康小八在中国法制史上，也算为剐刑(即凌迟处死)画了一个句号。