北周大象二年(580年)五月十一日，北周宣帝宇文赞病死。周静帝宇文衍年幼，左丞相杨坚专政。杨坚为预防北周宗室生变，稳固其统治权力，以千金公主将嫁于突厥为辞，诏赵、陈、越、代、滕五王入朝;因尉迟迥(北周文帝宇文恭外甥)位望素重，恐有异图，遂以会葬宣帝为名，诏使其子尉迟敦召尉迟迥入朝;并以韦孝宽为相州总管赴邺取代尉迟迥。六月，尉迟迥恐杨坚专权对北周不利，公开起兵反对杨坚。
七月，青州总管尉迟勤(尉迟迥弟之子)从尉迟迥反杨。尉迟迥所统相(治邺，今河北临漳西南)、卫(治朝歌，今河南淇县)、黎(治黎阳，今河南浚县东北)、沼(治广年，今河北永年东南)、贝(治武城，今河北清河西北)、赵(治广阿，今河北隆尧东)、冀(治信都，今河北冀县)、瀛(治赵都军城，今河北河间)、沧(治饶安，今河北盐山西南)及勤所统青、齐、胶、光、莒等州(均属今山东)皆从之，有众数十万。荥州(治成皋，今河南汜水)刺史宇文胄、申州(治平阳，今河南倌阳)刺史李惠、徐州(治彭城，今江苏徐州)总管司录席毗罗等，皆据州响应;怀县(今河南武陟西南)永桥镇将纥豆陵惠以城降尉迟迥。整个山东(太行山以东)除沂州(治琅邪，今山东临沂西)外，几乎都为尉迟迥控制。
时杨坚挟幼帝以号令中外，同月十日，杨坚调发关中兵，令韦孝宽为行军元帅，陇西公李询为元帅长史，郕公梁士彦、乐安公元谐、化政公宇文忻、濮阳公宇文述、武乡公崔弘度、清河公杨素等为总管，率军讨伐尉迟迥。
此后尉迟迥遣兵分路进攻，命大将军檀让攻略河南之地，又派人到东郡诱劝于仲文归附，但遭到拒绝。尉迟迥怒其不从己，遂派仪同宇文威率军攻打东郡，于仲文指挥所部迎战，大破宇文威军，斩500余人，因功被授开府。尉迟迥又派荥州刺史字文胄率军自石济(今河南延津东北)向西、宇文威等率军由白马(今河南滑县附近)附近渡黄河向南，二路俱进，合围东郡，欲置于仲文于死地。在敌众势盛与城内赫连僧伽、敬子哲等响应尉迟迥的情况下，仲文自感难于坚守，只得抛妻别子，率60余骑自城西门突围而走，途中又遭追杀，一路边战边行，死者十之七八，终于回到京都长安。尉迟迥杀其三子一女。杨坚见到于仲秋文后，将其引入卧室，为之下泣。同时赐彩五百段，黄金二百两，进位大将军，领河南道行军总管。给以鼓吹，驰传诣洛阳发兵，进讨檀让。
时韦孝宽拒尉迟迥于怀县永桥镇(今河南武陟西南)，于仲文至韦孝宽处与其商议对策。总管宇文忻因杨坚初为丞相而有自疑之心，因而于仲文说：“公新从京师来，观执政意何如也?尉迥诚不足平，正恐事宁之后，更有藏弓之虑。”于仲文恐宇文忻生变，便回答说：“丞相宽仁大度，明识有馀，苟能竭诚，必心无贰。仲文在京三日，频见三善，以此为观，非寻常人也。”宇文忻又问：“三善如何?”于仲文又回答说：“有陈万敌者，新从贼中来，即令其弟难敌召募乡曲，从军讨贼。此其有大度一也。上士宋谦，奉使勾检，谦缘此别求他罪。丞相责之曰：‘入网者自可推求，何须别访，以亏大体。’此其不求人私二也。言及仲文妻子，未尝不潸泫。此其有仁心三也”(《隋书·于仲文列传》)。宇文忻闻后，心中遂安。
此时檀让率军攻下曹州(治左城，今山东曹县西北)、亳州(治小黄，今安徽亳州)后，屯兵梁郡(今河南商丘南)。八月中旬，于仲文率军东进，在汴州(治浚仪，今河南开封西北)东倪坞，击败尉迟迥部将刘子昂、刘浴德两部后，进至蓼堤(今河南商丘县境，梁孝王时所筑大堤，长300里)，距梁郡七里。时檀让有军数万，双方兵力众寡悬殊。于仲文先派羸弱之师前往挑战，檀让军悉数来战，于仲文继而佯装败退，待檀让军骄纵懈怠，疏忽戒备后，派精兵快速杀回，由左右两翼突然进击，大败檀让军，生俘5000余人，斩首700级，迫使檀让率余部退守成武(今属山东)。随后，于仲文军乘胜攻打梁郡，尉迟迥守将刘子宽弃城逃走。于仲文军又在追击中擒斩数千人，刘子宽仅以身免。此战，于仲文在兵力对比处于劣势情况下，以机动灵活之指挥，创造战机，突然回兵，攻其无备，终获胜利。
在交战前，诸将都认为为：“军自远来，士马疲敝，不可决胜”(《隋书·于仲文列传》)。但于仲文却令三军迅速进餐，列阵大战，既而破敌。战后，诸将都疑惑地问道：“前兵疲不可交战，竟而克胜，其计安在?”于仲文含笑说：“吾所部将士皆山东人，果于速进，不宜持久。乘势击之，所以制胜”(《隋书·于仲文列传》)。诸将皆服其理，以为非所及也。
于仲文乘胜攻克曹州(治左城，今山东曹县西北)，俘尉迟迥所署刺史李仲康及上仪同房劲。檀让以余众守成武，别将高士儒以万人守永昌。于仲文诈为书信至各州县，说：“大将军至，可多积粟”(《隋书·于仲文列传》)。檀让闻讯后，认为于仲文部不能马上到达，遂放松警惕，犒劳将士。仲文知其懈怠后，遂选精骑奔袭，一日便至，袭占成武。
这时，降尉迟迥将领席毗罗率军10万屯于沛县(今江苏沛县东)，正准备攻打徐州(治彭城，今江苏徐州)。于仲文察知席毗罗妻子留住金乡，便派人假扮席毗罗使者，向金乡城主徐善净谎报：“檀让明日午时到金乡，将宣蜀公(尉迟迥)令，赏赐将士”(《隋书·于仲文列传》)。金乡人信以为真，皆喜。于仲文简选精兵，伪造尉迟迥的旗帜，加速前往。徐善净以为是檀让军到来，连忙迎接。于仲文随即将其擒获，遂占金乡。诸将多劝屠城，于仲文晓喻部属：“此城是毗罗起兵之所，当宽其妻子，其兵可自归。如即屠之，彼望绝矣”(《隋书·于仲文列传》)。众皆称善。果然，席毗罗仗其优势兵力来攻，企图夺回金乡。于仲文背城结阵，并于数里外麻田中设伏。席毗罗军列阵毕，刚刚发起进攻，背后伏兵突发，俱曳柴草鼓噪，尘埃张天，喧声震耳，席毗罗军顿时混乱。于仲文军乘势进击，席毗罗军惨败，争渡洙水(今山东钜野洙水河)，溺死者甚众，洙水为之不流。于仲文俘檀让，槛送京师。席毗罗藏在荥阳一户人家，也被擒斩。尉迟迥所占河南各地，全部平定。后刻碑纪功，立于泗水岸上。此战，于仲文施诈术轻取金乡，又以金乡为饵，诱敌入伏，以少胜多，终于全歼敌军。