在龙山所附近的两次战斗，使戚继光开始显露头角，也使他认清了明军的弱点：缺乏必要的训练，战斗中畏缩不前。如果不迅速采取措施，训练出一支强有力的军队，就无法取得御倭战争的胜利。鉴于此，戚继光于嘉靖三十五年(1556年)起草了一篇《任临观请创立兵营公移》，正式向上司提出了自己的练兵建议。
在这篇《公移》中，戚继光具体分析了明军存在的问题，提出了初步的改进办法。第一是创立兵营。在军中置备帐篷，准备好行军用的物资和用具，做到进退无虞，行动自由。第二是选兵。清理现有部众，裁掉老弱残，从所辖府、州、县的民夫、义勇中精选一批新兵。第三是练兵。从所选兵丁中挑出3000名壮士，认真组织训练，习练武艺，严明军纪，专备本地区截杀、攻击倭寇用，一切行动听从督抚、参将的指挥。《公移》递上去了，但上司根本不予理睬。戚继光并没有泄气，嘉靖三十六年(1557年)二月再次提出练兵的建议，并作出“诚得浙士三千，亲行训练，比及三年，足堪御敌”(《戚少保年谱耆编》卷一。)的保证。当时的浙直总督胡宗宪并不重视，他不相信能练成戚继光所设想的那样的军队。因此直至冬季，才把曹天佑部下的3000士兵拨给戚继光训练。这样，戚继光带领这3000士兵，一边训练，一边作战。训练开始不久，就打响了围剿倭寇最大巢穴之一的岑港战役。
岑港位于舟山岛的西部，地形极为复杂，易守难攻，因此倭寇长期以岑港为根据地，四出抢掠。嘉靖三十七年(1558年)春，在胡宗宪的指挥下，各路兵马向岑港进发。戚继光率本部军兵由左路进击。这场战斗一开始就十分激烈，倭寇居高临下，据险死守，双方死伤都很严重。不久，大批新倭又乘春汛赶来，倭寇声势更大。到了四月，战斗仍处于胶着状态。这时台州沿海又有大批倭寇登陆，胡宗宪命令戚继光驰援台州。下旬，戚继光遂督所部，从舟山渡海前往台州。不久，探马来报，倭寇已移至温州。戚继光又率众昼夜兼程，直奔温州。途中得到倭寇在盘石卫的乌牛一带大肆烧杀抢掠的消息，他便兵分三路，自率中路，猛扑乌牛山。自晨至午，五战五胜，倭寇四散奔逃。
五月初，又有倭寇4000余人，乘船80余艘，屯泊于乌牛、馆头，四处抢掠。戚继光率军迎战，两创敌兵。不久，又有倭船40多艘从龙湾方向驶来，欲图盘石，见明军雄威，转而屯泊在大崎山、黄华一带。随后，屯泊在乌牛、馆头的倭寇，组成百艘联舟，驶往海上抢劫。戚继光组织水陆两军追击倭寇。倭寇抵挡不住，乘小船仓惶奔逃，并以大福苍船掩护撤退。明军追击至小崎山下，戚继光张弓射倒倭船舵工，部下刘意又射死了倭船橹手。这样舵橹皆歇，敌船只能在海上打转，倭寇手忙脚乱。明军乘势四面环击，放火烧船，所有大小倭船全被焚毁，倭寇被射死、溺死、烧死上千人。明军大获全胜。大崎山、黄华等处倭寇“不敢回顾，远遁大洋，开帆而去”(《戚少保年谱耆编》卷一。)。
秋天，戚继光又被调回岑港战场。岑港被围已半年多，一时仍难以攻下。朝廷以岑港久攻不克，将俞大猷、戚继光等革职留任，戴罪杀敌，并限一月内必须攻取岑港。戚继光等率众舍身忘死，奋勇冲杀，拒守岑港的倭寇终于抵挡不住，放火烧寨，狼狈逃窜。
嘉靖三十八年(1559年)三月，倭寇300余犯宁波金墩，戚继光率军迎战，松浦、鉴溪两战皆捷，倭寇消灭殆尽。值春夏之交，倭寇大举侵犯浙江沿海，数千倭寇在温州、台州两处登陆，警报频传。戚继光奉命率兵从宁波出发，多次击败所遇之倭，在前后两个多月的时间里，一举摧毁了栅浦、桃渚、海游三个重要的倭寇巢穴。仅海门卫附近一战，即烧死、溺死倭寇一千多人。到六月下旬，侵扰台州、温州的倭寇大部被消灭，残余部分也被驱逐出海。戚继光奋显神威，已经成为远近闻名的勇将了。