一部分人说，重骑兵出现在三国，例如曹操的“虎豹骑”。但是并没有完整的史料可以说明曹操虎豹骑就是重骑兵，而三国则是一个轻骑兵的时代，骑兵的主要作用是快速作战，快速撤退，像重骑兵这种，在三国的战场中基本上是有去无回的。也没有哪个势力会花费人力物力财力去培养这样一支部队。
关于重骑兵的记载最早出现在“五胡之乱”时，“甲骑具装”就是指重骑兵。金戈铁马一词就是重骑兵主要的形容。这个时候的胡人骑兵从头到脚都是铠甲，此时的中原地区马匹稀缺，中原补兵碰到重骑兵基本上就是遇到了坦克。
到了隋唐时期，重骑兵的作用显得更加突出，唐代时，李世民简化了重骑兵，唐朝最著名的“玄甲军”中就有重骑兵。“玄”即是黑的意思。玄甲军是指身披黑铁重甲的军队。在对抗突厥的战场中，玄甲军大放异彩，轻骑兵负责奔袭，而重骑兵则负责正面破敌。
而在宋朝时，最出名的当属是完颜宗弼手中的铁浮图。可惜碰到了岳飞，岳飞以轻骑兵大破重骑兵，这是前所未有的，但是也是因为这个，完颜宗弼坐实了“常败将军”的名头。而在《水浒传》中，呼延灼的连环马阵也是重骑兵
到了元朝，在对阵欧洲重骑兵时，成吉思汗拿出了蒙古重骑兵，打得欧洲骑兵接连溃败。
到了清朝末期，由于火器的发展，重骑兵这一编制则是直接被取消了，火器的时代，像重骑兵这种移动缓慢地活靶子难以生存。
再来看看重骑兵的缺点，重骑兵最大的缺点就是重，强大的攻击力和防御力带来的后果就是重量增加， 这对马屁的要求也是极大的，一般的马根本载不动全身盔甲的骑兵，更何况骑兵手中还要拿着不知道多重的兵器。就算是再好的马行动速度也会直线下降
而这时一旦碰到远程的火力压制，重骑兵的作战能力几乎为零。所以完颜宗弼的铁浮图重骑兵是和拐子马轻骑兵配合使用的，拐子马的作用就是给铁浮图提供远程的火力压制，但是他们却碰到了比他们火力强大数倍的宋军。重骑兵的这一缺陷被无限放大。