古代中国的水军也和世界其他国家一样，早期的装备和陆军装备没什么区别。陆上的军队用刀枪弓弩，船上的军队也一样用刀枪弓弩。早期的水战，也不以击沉敌船为主要目的，而是尽量杀死敌船上的人员。交战双方的士兵往往在战船互相靠近时，跳到敌船上进行搏斗，以占领敌船为目的。
为了适应这种接舷战，早在战国时期，一种独特的水战武器——钩拒出现了。据说钩拒是鲁班给楚国水军发明的，有人认为“钩”、“拒”是两种工具，也有人认为是一种工具。这种工具可以在一方占优势时钩住敌方战船，使敌方无法逃走，也可在一方处于劣势时，将敌船挡住，使其无法追击。
随着时代的发展，战船上的武器开始由击毙敌人向击毁敌船的方向发展。人们往往给弓弩配备火箭，用来烧毁敌船。大型的床弩也被抬上了战船，发射巨大的箭，来摧毁敌船上的建筑。后来抛石机也被装备上船。抛石机抛出的巨石，对于战船具有很大的破坏力，是一种水战的利器。
但是抛石机用于水战，也有很多缺点。陆战当中，抛石机主要用来攻城守城。攻城时，抛石机面对的目标是静止不动的城墙;守城时，抛石机面对的目标是成群的敌方步兵。打击这样的目标，对于准确性的要求不高。但是水战中，战船是能够活动的，而且相对来说目标较小，抛石机很难击中，因此威力就发挥不出来了。
为了弥补抛石机的缺点，南北朝时期出现了一种利用杠杆原理制成的武器，叫做拍杆。拍杆是我国古代独有的水战武器，其外形类似抛石机，即在战船的两舷或头尾架起一根长木棍，木棍的一端拴着一块大石头，另一端有数根绳索。使用时，拉动绳索，使拴有巨石的一端高高翘起，然后战船驶近敌船，再放松绳索。巨石在重力作用下狠狠砸向敌舰，完全可以破坏木制战船的船体。拍杆可以说是把用于远距离作战的抛石机改装成了近战武器。
随着火器的普及，各种火药武器也参加了水战。明代有种类繁多的水战火器，除了火枪、火炮之外，还有各种火箭、爆炸性火器等等。明代有一种能沉在水底的原始触发性水雷，叫做“混江龙”，还有一种漂雷，叫做“水底龙王炮”。这都是很有创意的水战武器。
清代的水战武器基本沿袭明代，也是冷热兵器混用。热兵器没有明朝的繁多种类，主要就是鸟枪、小型火炮、爆炸性火罐等。这样的装备，遇上当时西方国家装有几十上百门火炮的木制风帆战舰，结局当然是悲剧性的。