抗日战争时期，党领导的敌后抗日武装在河北、山东、河南三省交界的广大地区创建了一个东至津浦路，西至平汉路，北至石德路、滏阳河，南跨陇海路的敌后抗日根据地——冀鲁豫抗日根据地。
1937年底至1938年春，在日本侵略军大举进攻下，华北重镇太原、济南相继沦陷，国民党军队向南溃退，地方政权瓦解，使平汉、津浦、陇海、石德四大铁路之间的广大地区成为真空地带。河北省委和山东省委根据党中央和北方局的指示，深入这一地区发动群众，建立抗日武装，为创立冀鲁豫抗日根据地打下了良好的基础。
1938年春，直南、豫北、鲁西南地方党组织，建立了游击队，初步打开了冀鲁豫根据地的局面。同年底，八路军第一一五师部队进入鲁西南地区，推动了该地区的抗日游击战争和根据地的建设。1939年2月，八路军第一一五师第三四四旅代旅长杨得志等率部分兵力，从晋东南进到濮阳、内黄、滑县一带，和地方武装合编为冀鲁豫支队，开展游击战争，连续取得反日伪军“扫荡”的胜利。到年底，部队扩大到7000余人。1940年4月，八路军第二纵队主力在黄克诚率领下，由太行山区东进到冀鲁豫边区，同冀鲁豫支队会师合编，成立冀鲁豫军区，黄克诚兼任司令员，崔田民任政治委员。同时，成立鲁西军区，萧华任司令员兼政治委员，杨勇任副司令员。不久，黄克诚根据中央军委命令，率八路军第二纵队第三四四旅和新编第二旅由冀鲁豫南下，加强华中抗日根据地。到1940年底，冀鲁豫根据地向南发展到陇海路，西面、北面接连晋冀豫根据地，东面与山东根据地相邻。1941年1月，冀鲁豫边区行政主任公署成立，晁哲甫为主任，崔田民、贾心斋为副主任。至此，包括直南、豫北、鲁西南地区的冀鲁豫抗日根据地初步形成。
抗日战争进入相持阶段后，冀鲁豫根据地处在极端困难时期。根据地军民执行精兵简政、主力部队地方化、敌进我进等方针，粉碎了日伪军多次“扫荡”，渡过了严重困难局面。
1941年7月，中共中央北方局决定，冀鲁豫区与鲁西区合并，成立新的冀鲁豫区党委、军区和行署。新的冀鲁豫区党委书记张霖之，行署主任晁哲甫，新的冀鲁豫军区仍由2纵队兼任，纵队司令员杨得志，军区司令员崔田民，纵队兼军区政治委员苏振华。为了统一冀鲁豫边区，加强对敌斗争，1942年底，中共中央决定将湖西区及豫皖苏水东区划归冀鲁豫边区，黄敬任区党委书记。
1943年，冀鲁豫抗日根据地进入恢复和再发展时期。在八路军总部的统一指挥下，冀鲁豫军区和太行军区于七八月间先后发起卫(河)南战役和林(县)南战役，取得歼灭日、伪军1.2万余人的重大胜利，开辟了卫南、豫北广大地区。
1944年，冀鲁豫军民发动攻势，攻克日军据点50余处，恢复昆(山)张(秋)地区，打开了东平、汶上的局面;随即收复鱼台、单县、丰县、沛县间地区，恢复了微山湖中心区，并向郓城、菏泽等地攻击，使鲁西各小根据地连成一片。5月，冀鲁豫区与冀南区合并，成立中共中央冀鲁豫分局和新的冀鲁豫军区，黄敬任分局书记，宋任穷任军区司令员，黄敬任政委。同年7月，冀鲁豫军区派一部分兵力南下，恢复黄河以东的水东根据地，开辟水西根据地，在14个县建立了抗日民主政权，扩大了豫东根据地。
1945年春、夏季，冀鲁豫根据地军民同其他敌后抗日根据地一起，对日、伪军展开了反攻作战，扩大了解放区。8月，晋冀鲁豫地区部队开始对日、伪军全面反攻。20日，晋冀鲁豫军区成立，刘伯承为司令员，邓小平为政治委员。在新的军区统一指挥下，各地反攻作战密切配合、协调一致，一部进攻开封、新乡、安阳、邯郸等地，一部配合山东解放区部队进攻济南，解放了全区大部分城镇。此时，冀鲁豫抗日根据地面积达10多万平方公里，人口100余万。