我国古代的水上部队称舟师、水军或水师。郭沫若主编的《中国史稿》中说，商代后期，商王武丁曾派人乘船追捕逃亡海上的奴隶。后来，随着船舶质量的提高和数量的增加，船舶便大规模地用于战争。武王伐纣渡孟津，是我国史籍关于船舶用于军事运输的最早记载。公元前1070年正月，周武王率兵伐纣，参战部队由47艘大船运送，在孟津渡河东进，经牧野决战大破商军，直捣商都朝歌(今河南淇县)。这次渡河作战，组织严密，有专人指挥船只，规模空前。但这些船只毕竟是临时征集的，没有专门用于水战的兵器和人员，因此还称不上舟师。
春秋时期，铁器的使用使造船技术和造船能力得到空前的提高，南方的吴国、越国、楚国和滨海的齐国都先后改装和建造战船，抽调官兵进行水上作战训练。据《左传·襄公二十四年》记载：“楚子为舟师以伐吴，不为军政，无功而还”。这说明在公元前549年以前，楚国已经有了舟师。
秦汉时期水军己颇具规模。汉代最著名的战舰是楼船，《史记》《汉书》中有楼船将军、楼船校尉、伏波将军、戈船将军、横海将军、横海校尉等称谓。汉武帝刘彻曾创建了一支训练有素、装备精良、拥有十多万常备兵员的大型楼船水师，《史记》记载：“治楼船高十余丈，旗帜加其上，甚壮。”
斗舰是东汉时出现的新型战舰，对它的记述首见于《三国志》：“刘表治水军，蒙冲斗舰，乃以千数”。三国时吴国造船业很发达，能够制造容纳3000人的上下高5层的大船。公元230年，吴国还曾派万人水师到达了夷州，即现在的台湾。
宋朝时，我国兵器的发展进入了一个新的历史时期。当欧洲人还在苦练剑术的时候，南宋战船已装备了弓射火箭、火球、霹雳炮、突火枪等。公元1161年10月27日，世界海军史上第一次使用火药兵器的海战在中国黄海海域展开。南宋将领礼包率水师3000人、战船120艘，直扑山东黄岛的金军水师大本营，南宋水师依靠先进的火器装备，击败了金军水师舰队。
元朝初期，水师战舰就已有17900艘。元世祖造战船5000艘，操练水军7万人。元军对火器进行了改进，形成了最早的“火炮”，并装备在战舰上。公元1279年4月，元朝水师与南宋水师在广东崖山近海遭遇，在元军战舰的大炮轰击下，南宋水师终于土崩瓦解。
明朝时我国造船业的发展达到了第三个高峰。明朝万历26年(1598年)11月，中朝两国水军同日本水军在朝鲜半岛南边露梁以西海域进行了一场大规模海战。在海战中，中朝两国水师密切配合，英勇奋战，终于取得胜利。日军死亡数以万计，舰船也几乎全部覆灭。这次战役给侵朝日军以毁灭性打击，对战后朝鲜200年的和平局面起了重要的作用。
近代中国，海权丧失。1875年5月，日本派兵企图侵占台湾，清政府决定从速建设南北洋水师。1888年12月17日，北洋水师正式宣告成立。从此，近代中国拥有了一支在亚洲规模第一的海军舰队。但由于朝政腐败，经费拮据，缺乏国内的工业基础，北洋水师的战舰在航速、射速等方面渐被日本赶超。1894年中日甲午海战中，北洋水师全军覆没。
1911年辛亥革命后，孙中山曾提出“海军建设应列为国防之首要”，主张建设能与列强并驾齐驱的强大海军。然而他超前的海洋思想只能无奈地凝固在纸面上。
新中国建立后，中国的海军建设翻开了新的一页。从最初它只是一支近岸防御型海军，逐步发展成为了一支近海防御型海军，再经过新世纪大发展后，成为了一支初具规模的远洋海军力量。随着“中华神盾”导弹驱逐舰、052C、052D导弹驱逐舰、039常规潜艇以及苏-30、战略导弹核潜艇、核动力攻击型潜艇，以及岸基远程导弹、“辽宁”号航母、飞豹等战斗机的相继服役，中国海军具备了万里集结、远洋作战的攻防能力。2012年9月25日，我国第一艘航空母舰“辽宁”舰正式交付海军，这是中国海军建设史上一个新的里程碑，意味着中国海军向蓝水远洋海军迈出了崭新一步。