尔朱荣在镇压了一些小范围的动乱后，军事上面临的最大敌手也就是葛荣领导的这支军队。公元528年夏，葛荣的军队因为缺少粮食而南下洛阳，形势危急。尔朱荣上书请求北伐，庄帝批准，尔朱荣亲自率领精锐骑兵7000人，每骑另备有副马，日夜兼行，穿过滏口，进人河北大平原，由侯景担任前锋。
尔朱荣率军秘密进入山谷，编成突击队，分配督将每三人为一组，每组有数百人马，命他们所到之处，扬起灰尘，擂鼓呐喊，使对手不知道究竟有多少人。他又认为军队冲锋肉搏，人马相逼近，用刀不如用棒，密令战士，每人携带袖棒一根，安置在马鞍侧，又考虑到战时士卒为了杀人争功，可能影响追逐，因此又令不准争砍人头，只要棒击。大战开始，尔朱荣发动突击，将土上下情绪高昂。他自己也出入敌阵，内外夹攻，终于大败葛荣的军队，生擒葛荣，其余全部投降。
他下令投降的部队解散，随他们所去，任由他们的家属跟随。大家大为欢喜，数十万人马，一时散尽。等他们走出百里以外，尔朱荣才命令分别囚押处置，分别编组，充实各部队，处置非常得当。尔朱荣对俘虏将士的头领，量才使用，投降部众的疑心也慢慢消除了。时人都十分佩服他在这件事上处置之果断英明。尔朱荣把葛荣囚送到洛阳，庄帝下诏加封尔朱荣为大丞相、都督河北畿外诸军事。
击灭葛荣以后，一两年内，又陆续镇压了其他的六镇余众起义。至此，六镇的风暴就基本上被平定了。尔朱荣因此也树立了个人更大的权威。
但是，不久又发生了一件事。在庄帝即位之初，北海王元颢南逃到了南梁。南梁封他为魏王，并派将军陈庆之率军护送元颢回国即王位。当时，在北方的齐地也有邢呆起义队伍的响应。北魏朝廷以为元颢孤弱，因此未曾用心。不料想元颢、陈庆之军势甚猛，逼近洛阳。庄帝大为惊恐，弃城北逃，元颢占领洛阳。
尔朱荣听到庄帝北逃的消息后，立即乘驿车到长子晋见庄帝，一路调兵遣将。庄帝也不再北逃，命尔朱荣为前锋，讨伐元颢，几十天内，便集结了大量兵力。
元颢占领洛阳后，骄奢怠惰，南梁士兵，也行为凶暴，因此大失民心。尔朱荣顺利攻下河内，双方隔河对峙。二段僵持之后，尔朱荣最终听从杨侃建议，在六月十六日发动总攻。其前部偷渡黄河，袭击得手，元颢兵败如山倒，退出洛阳。尔朱荣乘胜追击，大败陈庆之，元颢不久也被杀。尔朱荣又一次因为战功而得到朝野的敬畏。
恃功狂妄 枭雄殒命
尔朱荣在讨平葛荣和元颢之后，恃功更加狂妄，不把庄帝放在眼里，他在晋阳牢牢地控制朝廷，左右着北魏的政局。
庄帝外受尔朱荣压制，内受尔朱皇后的欺凌，一直闷闷不乐，城阳王元徽等人也都想得到大权，因此都极力诋毁尔朱荣，劝庄帝把尔朱荣诛除。庄帝鉴于河阴屠杀的残酷，怕尔朱荣会对自己下毒手，因此也早已有诛杀他的想法。
九月十八日，庄帝决心动手。他命杨侃等10余人埋伏在明光殿东。当天，尔朱荣和元天穆一同入宫进食，但未吃完就起身告辞，杨侃等从东厢台阶上殿，看见尔朱荣、元天穆已经走到大庭，没有来碍及动手。
二十一日，尔朱荣进宫稍作停留，就到陈留王家饮酒，大醉而归，称病一连几天没有上朝。庄帝怕夜长梦多，就在二十五那天，在明光殿东厢，设下伏兵，然后声称皇子降生，派元徽飞马到尔朱荣竺报告，尔朱荣正在跟元天穆赌博，元徽摘下尔朱荣的帽子，盘旋舞蹈祝贺。此时，从皇宫派出召唤尔朱荣进宫的文武百官，连声催促。尔朱荣于是不再怀疑，跟元天穆一起进宫。进宫时正碰见中书舍人(掌起草诏令的官员)温子升拿着刚写好的大赦令(准备诛杀尔朱荣后颁发)往外走，尔朱荣高兴之余竟忘了要过来看。庄帝坐在东厢下，面向西；尔朱荣、元天穆坐在御座右边，面向东。此时，元徽进殿，刚刚行礼，就在这一刹那，光禄卿鲁安等人，抽出佩刀，从东厢门闯入。尔朱荣一跳而起，直扑庄帝，庄帝事先将一把刀横在膝下，顺势把尔朱荣劈倒，鲁安等挥刀乱砍，尔朱荣与元天穆等同时被杀，一代枭雄就此殒命，时年38岁。
北魏分裂
尔朱荣死后三四年时间，北魏分裂成为东魏和西魏。从此，北方又陷入分裂战乱之中。东魏的建立者高欢，西魏的建立者宇文泰，都曾是尔朱荣的部将。
尔朱荣死后北魏分裂成东魏、西魏
北魏灵太后胡氏，晚年风流成性，不仅与大臣暧昧不清，还爱上侍卫杨白花，后来杨白花离她而去，胡太后为其赋诗一首：
杨白花
阳春二三月，杨柳齐作花。
春风一夜入闺闼，杨花飘零落南家。
含情出户脚无力，拾得杨花泪沾臆。
春去秋来双燕子，愿衔杨花入窠里。
尔朱荣入洛阳，颠覆了当时的朝廷，将太后和小皇帝沉入河中淹死。后人谈起此事，遂以“水性杨花”称呼之。