1912年，王必成出生于湖北省麻城县的一个贫苦农民之家，少年投身革命，1928年参加当地赤卫队和共产主义青年团，1929年参加红军，第二年入党，始终战斗在红四方面军各个时期，参加过鄂豫皖苏区历次反“围剿”、川陕苏区历次反“围攻”和举世闻名的长征，三次过草地。由于他英勇善战，很快由班长、连长、营长而团长、团政委，在长征结束时即由普通一兵成长为红三十军八十九师副师长。
1936年10月，红四方面军到达陕北，久经战火考验的王必成随即进入抗日红军大学学习，为成为一代名将奠定了扎实的军政素质。抗日战争时期，他历任新四军第一支队二团参谋长、团长，新四军苏北指挥部第二纵队司令员，新四军第一师二旅旅长，第十六旅旅长，新四军苏浙军区第一纵队司令员。
1945年11月10日，按照中共中央的指示，华中野战军正式组成，粟裕任司令员，谭震林任政委，王必成任第六纵队司令员。从1946年3月起，第六纵队改为第六师，谭震林兼师长和政委，王必成任副师长。同年7月13日至8月27日，在闻名遐迩的苏中七战七捷中，王必成率第六师参加了七战中的五战，仗仗皆胜，歼敌1。6万余人。
苏中七战七捷后，苏中战场胜利在望，但相邻的淮南解放区形势却不容乐观。王必成也遇到了他军事生涯的最大劲敌——国民党军的张灵甫。在张灵甫的国民党整编第七十四师等部的强攻下，解放军被迫撤出淮南根据地。随后，敌七十四师兵锋直指淮阴。
淮阴是苏皖解放区的首府，因此，粟裕一面飞调成钧、皮定均赶往淮阴城下，阻击张灵甫，一面亲率我第一师、第六师从海安城下撤围，奔赴淮阴。
眼看粟裕援军就要赶到，张灵甫连派夜出一支小部队发动偷袭，突破点就选在防线中央——从战术角度看，最难突破的地段。偷袭得手后，张灵甫挥军入城。一天后，粟裕率援军赶到，但战机已失，只好撤退。张灵甫乘胜挥师南进，3天后又占淮安。当时，很多参战官兵都说：敌整编七十四师比抗战中的日本军队还难打。王必成听到后火冒三丈地说：得和这个张灵甫碰一碰!
王必成的愿望不久就变成了现实。张灵甫的下一个进攻目标便是涟水。1946年10月22日，敌七十四师集中全部炮兵，对涟水城的南门渡口发起震天动地的炮击，部队乘橡皮舟渡过废黄河，很快在河岸立住了脚跟，并发起第二轮猛攻。25日下午，张灵甫突然投入了一个团的生力军，不待重炮和飞机掩护便发起冲锋，终于在城南防线中央撕开一个宽大缺口，直扑涟水城。
这个时候，王必成率第六师第十八旅冒着敌军轰炸和炮火，及时增援城南阵地。东门外，第六师主力和敌拼起刺刀，硬是用刺刀在短短一小时内干脆利落地歼灭了敌七十四师一个营。
26日，双方大战再起。张灵甫倾注全力，发起猛烈的进攻，这是王必成与张灵甫的首次正式大战。这一天，敌七十四师连续发动8次突袭，却始终无法撼动我第六师的防线。入夜后，第六师发起反击。夜雾迷漫的废黄河边，杀声和刺刀碰磕声混成一片。28日，华中野战军主力部队全部赶到，粟裕下达了歼灭敌七十四师的命令。30日夜，陶勇的第一师和王必成的第六师如猛虎下山般扑向敌七十四师，张灵甫只得逃回淮阴城。
一战涟水，敌七十四师付出了7000余人伤亡的代价。张灵甫将失败归咎于王必成。据说，他当着部下发誓：下次打涟水，要用1000发炮弹打碎王必成。一战涟水，王必成也了解了敌七十四师的战斗力，他说：兵败而不山倒，两虎未擒一狼，姓张的有一套。
涟水之战一个月后，敌七十四师再犯涟水。此时，陈毅、粟裕正在北线准备宿北战役，坐镇南线的谭震林决定来个硬碰硬，将王必成第六师摆在涟水南面，对决敌七十四师。