1938年2月，日本最精锐的部队之一坂垣第五师团主力坂本支队及伪军刘桂堂部约两万人，自胶济线南犯诸城、沂水、莒县，直扑临沂。第五战区长官司令李宗仁电令驻守东海、连云港一带的第三军团庞炳勋部，火速赶到临沂坚守。
临沂系鲁南重镇，是各公路的交叉点。南通新安镇(今新沂)至徐海，西南通台儿庄、枣庄，西北通费县、泗水、蒙阴、新泰，东北通莒县、诸城。临沂的战略位置关系到陇海、津浦两路的安危，也是徐州的一个重要屏障。日军以坂垣师团猛攻临沂，正是为了策应矶谷师团进攻台儿庄。
庞部时有5个团，13000余人，到临沂后，其兵力布防为：军部及第三十九师师部驻城南关的三乡师校园内;第一一五旅驻城东之相公庄;第一一六旅驻城北诸葛城;补充团于军部附近;骑师于相公庄以东地区。面对敌寇的进攻，全体官兵无不义愤填膺，誓灭日寇。但由于日军不断向临沂方面增加兵力，庞炳勋部的战况十分危急，23日，莒县失守。3月2日，日军逼近距临沂仅60华里的汤头。3日，庞炳勋部在由青岛撤退的海军陆战队沈鸿烈部的协同下，与敌“苦战经周，损失颇巨”，被迫放弃汤头。汤头失守，其以南地区情势骤紧，临沂城亦觉唇亡齿寒。庞炳勋部一面抵抗，一面急电求援。3月10日，日军约八九千人，骑兵四五百人，在战车20余辆、装甲车60余辆、飞机10余架、炮30余门的强大火力掩护下，开始向临沂猛攻。临沂前线，连电告急。第五战区在烈焰燃眉之际，急电令第五十九军张自忠部增援临沂。同时，为了协调庞炳勋部与第五十九军作战，特派第五战区长官司令部参谋长徐祖诒赴临沂前线督战指导。当时张自忠部正在滕县向济宁、兖州一线的敌人进攻，接到命令后，当即以急行军速度星夜兼程，于12日到达临沂北郊的沂河西岸。抵达后，庞炳勋即要求第五十九军接替城防。张自忠则认为与其消极防御，不如以攻为守，击敌侧背，以解临沂之围。结果张自忠的建议被采纳。3月13日子夜，第五十九军运动到刘家湖、崖头、石家屯一线后，强渡沂河。14日拂晓，张自忠指挥部队向日寇发起攻击。刘振三第一八○师由诸葛城、大小姜庄渡沂河向徐家太平、大太平附近日军进攻，在亭子头遭到一股日军的顽强抵抗;黄维纲第三十八师由朱家棚、船流渡沂河攻占张家庄、解家庄、白塔。由于日军600余人在飞机、大炮、坦克的掩护下拼命反击，该师被迫退回沂河西岸。同时，沂河东岸的庞炳勋部第四十军第三十九师亦从正面开始反攻，并向青墩寺、尤家庄一带进攻，于14日晚占领东西旺庄、东西沙庄。15日早晨，庞炳勋部继续前行，占领了郑寨子、黄家屯、东西沈庄、柳杭头，同时派骑兵从右翼迂回董家官庄、沟头一线。同一天，第一八○师攻克亭子头，日军向东、西水湖崖撤退，第三十八师再渡沂河，占领沙岭。16日，日军增加一个旅团4000多人，从汤坊崖西渡河向沂河西岸的张自忠部的阵地猛烈攻击，敌机10余架也轮番轰炸，第三十八师伤亡较重，但官兵仍然守住了阵地。当日夜10时至17日凌晨，日军全力攻击崖头、刘家湖、茶叶山阵地，经密集炮火摧毁后，日军占领了这三处阵地。张自忠急令两个旅增援，奋力抵抗，肉搏多次，终于将丢失的阵地全部夺回，日军大部被歼。同日，庞炳勋部也发动强大攻势，激战一昼夜，先后占领尤家庄、傅家屯、东西水湖崖、沙河一带，日军退守李家五湖、傅家池、草坡一线。到18日早晨，庞、张两军一齐从东、南、西三面夹击汤头、傅家池、草坡一线的敌人，经3天血战，临沂方面的敌人约3个联队被完全歼灭，残敌大部逃向莒县，一部向北撤退。此战，张、庞两军共歼敌4000余人，其中第五十九军歼敌3000余人。有资料说，日军用载重汽车运回莒县的尸体达100余车，在汤头、葛沟屡次焚化的尸体、来不及运回就地掩埋者达七八百具。中国军队也为争取胜利付出了惨重的代价。日寇不甘心在临沂战役中的失败，于3月23日，复派增援部队4000余人，会同莒县、汤头的残敌，又向庞军阵地展开反攻。24日，敌机到庞军阵地大施轰炸，9门敌炮昼夜不停地扫射。由于第五十九军张自忠部伤亡太大，除留一个旅的兵力协助庞炳勋部守卫临沂外，主力已于19日离开临沂转向费县休整，准备向泗水、滕县方面转进。在敌人强大兵力的攻击下，庞军力战不支，被迫退至城东桃园、黄山一带防守，临沂形势又趋危急。为确保临沂，解围庞军，张自忠部于25日重返临沂增援，在韦家屯、桃园等地与敌寇进行激战，并东渡沂河，占领了桃园。3月26日，日军1000余人，在十几门大炮的掩护下，绕道转至临沂西冯义堂一带，伺机环攻取城。张军急派重兵在城西娘娘庙至大岭一线布防，以阻止敌人的进犯。但是攻击三官庙的张军一部分，因损失极大，停止了进攻。日军借机占领了营子、乾沂庄、沙埠庄等村庄。而此时的庞炳勋部因兵力损失过大，已失去战斗力，虽强守九曲店、小李家庄、沭埠岭、黄山一线，但河东的阵地已很难支撑，临沂处在危急之中。
3月27日，日军一部从早上7时开始，向古城南沙埠庄及小岭、北道发起攻击，另一部则从蒙阴南下，袭击临沂西南的朱陈镇。28日，敌寇又增加1000余人，炮十二三门，配合飞机对临沂城内轮番轰炸。庞军以第三十九师第一一六旅副旅长崔玉海率刘富生第二三一团会同张里元部保安团守城，其余的撤退到城南一带，军部也随之转移到九曲至黄山一线;第五十九军张自忠部则在七德、前后七里屯、前后岗头一带修筑阵地，与敌人展开血战，击毙敌寇百余人。至3月29日，在日军的猛烈攻击下，临沂已处于危急之中。第五战区派驻在海州的第五十七军缪澄流部王肇治旅赴临沂增援。该部队于29日早晨到达东高都，当晚7时向临沂西北的十里铺前行，并向大、小岭方向出击。汤恩伯部骑兵团也赶来增援，并于午后抵达城西的胡子峪，向义堂以北的地区发起进攻。敌寇伤亡千余人，被迫向汤头退却。晚上10点左右，第五十九军再次出击，重创敌寇，迫敌向北退却。王肇治旅沿沂河，汤恩伯部骑兵团向艾山、义堂一带追击，发动全面的反攻。同日晚，由于临沂久攻不下，台儿庄方面又陷于苦战，日军遂转移进攻方向，命令在临沂的日军停止进攻，抽出坂本旅团主力两个步兵联队和一个野炮兵联队星夜兼程南下，赶赴台儿庄进行支援，仅留一个联队步兵和少数炮兵在临沂与张、庞两军对峙。至此，第五十九军的伤亡也已达万余人。4月21日，由于台儿庄战役吃紧，张、庞两军相继撤离，临沂遂被日军占领。