关于牛皋入伍前的一些经历，史书上鲜有记载。当年，牛皋所在的石碑沟村处于深山老林，交通闭塞，人烟稀少。牛皋入伍前以卖柴为生，与老母和妻儿相依为命。牛皋力大如牛，挑500多公斤重的担子还健步如飞。每次上山砍完柴，他都去砍一棵结实的树做扁担，然后挑着500多公斤重的柴火进鲁山县城去卖。光卖柴火似乎很难满足家庭的日常开支，这时牛皋想到了发挥自己的射猎技艺。牛皋从小就喜欢弹弓、射箭之类，随着不断练习，他的射猎技艺有了很大长进，几乎是百发百中，箭无虚发。石碑沟村林丰鸟多，这给了牛皋充分施展射艺的机会。每次进城卖柴，牛皋都要捎带一些野兔、野鸡等猎物，这样生活倒也还不愁。更重要的是，在日复一日的艰苦劳作中，牛皋不仅练就了强壮的身体，同时还将射猎技艺也发挥到了炉火纯青的地步，无形中为他以后的抗金斗争做了一些准备。
北宋末年，金军入侵。在大难关口，牛皋决定加入抗金队伍，保卫家乡。由于擅长射猎，于是，他就到鲁山县衙当了一名射士，主要负责日常治安，同时也协助训练民兵，为抗金做准备。后来，鲁山被金军攻陷。于是，牛皋就自行组织力量，抗击金兵。牛皋武艺高强，并且为人豪爽耿直，一声号令，应者云集。在加入岳家军之前，他组织民众在平顶山一带多次阻击敌人，对金兵进行了有力的打击。建炎四年(1130年)，金军侵及江南，途经荆襄北归。完颜拔离速率领金军重新渡江，途经荆门(今属湖北)北上，在四月初方进入平顶山一带。
完颜拔离速等人对京西一带的地形相当熟悉，在这之前，他们曾随完颜银术可深入京西腹地进行残酷的破坏。金军这次取道鲁山县和叶县之间，进入宝丰县地界，准备渡过汝水继续北撤。他们在傍晚时分来到距离汝水不远的一个村庄，这个村名叫宋村(今白龟山水库淹没区)。完颜彀英决定在此休息一晚，隔日再渡汝水，完颜拔离速表示赞同。但耶律马五却说：‘此处地名宋村，以亡宋国号为名，甚是不祥，莫须另择安泊之处。’而完颜彀英自信地说：‘此又有甚忌讳，我便将它改名金村。”其实，在金兵还未进入宝丰县地界之前，牛皋已经获悉了对方的行军路线，并料定金人会在宋村宿营。于是，他就马上发动乡兵和乡亲。乡亲们听说后，个个同仇敌忾，准备好作战工具，打好埋伏，静等金兵到来，准备一窝端。时值初夏，连续半年多的奔波和征战，金军将士思归心切，而女真人尤其不耐热，纷纷下马卸甲，准备晚饭。突然间，呐喊声四起，数不清的宋朝乡兵，有的持兵刃、有的持农具向金军袭击。完颜拔离速毕竟是宿将，他连忙麾兵应战，却为时已晚。饥疲的金军被杀得七零八落，溃不成军，四散逃窜。完颜拔离速和完颜彀英只率领近百名金兵逃命。他们最后收集散亡，还不足5000人，逃回了太原。
耶律马五却没有另外两名金将幸运。他和50多个金兵被重重包围，最后只剩下他一人，耶律马五还是困兽犹斗，他持一把手刀，大喊道：‘谁敢与我挑战?’话音刚落，只见乡兵让开一条通道，一名宋将头戴只露双目的铁兜鍪，手执铁杆笔枪，跨下黑马，进入围中。耶律马五抡刀向对方砍去，那名宋将用铁枪架格，却顺手用枪杆的后部把耶律马五打下马来，在一阵喝彩声中，乡兵把耶律马五活捉。生擒耶律马五的将领便是牛皋，当时43岁。这次战斗不但杀死了大批敌人，还缴获了丰厚的战利品。战斗结束后，牛皋就在宋村亲自审讯战俘。宋村之战胜利后，牛皋又率领乡兵，在鲁山邓家桥(位于鲁山县辛集乡邓寨)将金兵击溃。”
两次抗金大获全胜，牛皋声名远播，金军对他更是畏惧三分。同时，这两次战斗为他以后的抗金事业打下了很好的基础，让他从家乡走向了全国。由于在家乡组织的两次抗金战役有功，牛皋被晋升为西道招抚使及蔡、唐、信军镇抚使。绍兴三年(1133年)，岳飞统管江西、湖北军务，决定由襄汉进军中原，收复失地。牛皋奔赴临安(今浙江杭州)面见宋高宗赵构，力陈刘豫必败，中原可复。赵构将牛皋所部划归岳飞指挥，牛皋加入岳家军。其实，在牛皋加入岳家军之前，二人就多有来往，并交情深厚。牛皋年长于岳飞，加之战功卓越，因而颇得岳飞敬重。自此，牛皋就一直担任岳家军的副帅，岳牛二人并肩作战，书写了一部可歌可泣的抗金史。岳飞见到牛皋后非常欣喜，即命牛皋为唐、邓、襄、郢4州的安抚使，后又任牛皋为中部统领。
绍兴四年(1134年)，伪齐大将李成勾结金兵入侵，攻破襄阳六郡，伪齐将王嵩占据随州，岳飞派牛皋出战，牛皋用不到3天的时间攻下随州，生擒王嵩，俘敌5000人，收复襄阳。金兵攻打淮西，岳飞令牛皋先渡江迎敌。伪齐派骑兵5000人进攻庐州(今安徽合肥)，牛皋出阵，敌军不战而溃。牛皋乘胜追击30余里，杀死敌军大半，斩其副都统等大将，声威远扬。
绍兴五年(1135年)，牛皋随岳飞征讨杨么。杨么兵败，投水自杀未遂，被牛皋擒获。绍兴十年(1140年)，岳飞进军中原，牛皋奉命进攻京西一带，所向披靡，直抵黄河沿岸。牛皋一生经历了众多战役，并屡立战功。
绍兴十年(1140年)，金人毁弃盟约，牛皋随岳飞进军中原，在岳飞的指挥下，牛皋率部所向披靡，直抵黄河沿岸，在攻打许昌、汴京的多次战斗中，出生入死，屡战屡胜，为收复中原失地立下了汗马功劳，因为功劳最大，被升为捧日天武四厢都指挥使、成德军承宣使，枢密行府以牛皋管理一切事务。宣抚司罢废后，牛皋改为鄂州驻札御军左军统制，又升任真定府路马步军副统总管，转任宁国军承宣使、荆湖南路马步军副总管。
关于牛皋之死，史料上是这样记载的：秦桧杀害岳飞后，十分惧怕牛皋。绍兴十七年(1147年)三月初三，秦桧密令都统制田师中，以宴请各路大将为名，用毒酒将牛皋害死。牛皋临死前悲愤地说：“牛皋年61岁(虚岁)，官至侍从，已经足够了，所恨的就是南北通和，使我不能马革裹尸而死，而死在屋檐下而已!”
牛皋死后，其尸骨埋在杭州西湖栖霞岭剑门关紫云洞口，与岳飞墓遥遥相望。墓前立碑一通，其碑文为“宋辅文侯牛皋之墓”。出于敬慕牛皋的英名，近千年来，来他坟墓前吊唁拜祭的人络绎不绝。