高欢的手下本想趁机杀死尔朱兆，被高欢以眼色阻止，事后对他说：“尔朱兆有勇无谋容易对付。但此时若杀了他，定会像元子攸一般遭到尔朱氏党羽的报复，假如再有其他豪杰因势而起，羽翼未丰的我们将得不偿失，所以只能先暂时忍耐。”——与尔朱氏在智谋上的差距一目了然。
之后河北信都的守将与尔朱氏产生矛盾，便以替先皇报仇为名宣布自立，然后率领十数万百姓投降了高欢，河南殷州的当地豪强也因久闻高欢大名而前来投奔，高欢全都来者不拒。尔朱氏眼看高欢做大，通过朝廷授予高官虚职想征他入朝，高欢推辞不受。
身在洛阳的尔朱世隆拥立了元恭登基，是为节闵帝。元恭是元子攸的堂兄弟，早年因为元叉专权担心遭到迫害而装聋作哑，直到此时才开口说话。他在审阅禅位诏书时，看到上面赫然写着“元子攸冤杀尔朱荣”的情形时，当场拒绝道：“孝庄帝亲手铲除强横的臣子，不能说是冤杀，只是因为天意弄人而没有成功，才会落得和当年的高贵乡公曹髦一样的下场。”百官听说后十分欢喜，认为元恭有明君的潜质，期待他能开创太平。
而元恭也没有辜负众人的期望，多次与尔朱氏正面对抗，凡是对方不合理的要求全都予以驳回，丝毫没有畏惧。他还励精图治，勤于政事，各方上贡的珍奇一概不收。
531年4月，南梁年仅三十岁的昭明太子萧统突然去世，震惊了整个朝野，百官无不感到惋惜，百姓也自发跑到宫门口大哭凭吊，萧衍更是悲痛欲绝。萧统自从成年后就被所有人寄予厚望，萧衍更是把他当作唯一的继承人培养，从未考虑过其他儿子。萧统喜怒不形于色，处事干脆利落，明察秋毫，又宽仁和善，对于犯错之人往往都能宽容。还喜爱读书行文，招揽了很多才俊之士，身居东宫二十余年都没有过奢侈浪费的行为。每当天灾干旱，他还会派遣左右巡行街巷，赈济贫苦之人。如此完美的人自然深得人心，整个国家的百姓以及萧衍都相信他即位后定会有光明的未来。可惜天不遂人愿，萧统本就肥壮易病，又因之前母亲去世时悲伤过度、久不进食而落下病根，加上后来遭奸臣污蔑参与了巫蛊之事而与萧衍产生嫌隙，最终在惭愧愤怒之下英年早逝。
卧薪尝胆的高欢终于打算征讨尔朱氏。他伪造书信，诈称尔朱兆要将六镇之人全都送给胡人为奴为婢来逼迫他们造反，等到这些走投无路的人群情激奋时，再毛遂自荐成为他们的领袖，起兵于信都。
尔朱兆听说高欢反叛，耻于之前数次为他所骗，立刻率领十万人进攻。高欢使用反间计，散播谣言称尔朱世隆打算除掉尔朱兆，尔朱兆又打算谋害其他亲属，导致尔朱氏亲族之间相互猜忌，谁都不敢率先进攻。
高欢正打算出击，眼见尔朱兆人多势众又有些担心，手下有位谋臣鼓励他说：“所谓‘众’者，在于得众人之死，所谓‘强’者，在于得天下之心。所谓‘皇天无亲，唯德是辅。’尔朱氏弑杀天子，屠戮公卿，凌虐百姓，有何德行可言？智者不会为他们出谋划策，勇者也会不为他们流血牺牲，这种人不灭亡天理难容！”
于是高欢下定决心，果然大败了尔朱兆，擒获了五千人之多。之后高欢乘胜追击进攻邺城（河北），他命人暗中挖掘地道使得城池塌陷，最终兵不血刃地打败了敌军。有降臣率领三千汉兵前来归顺，但高欢认为汉人的战力实在难以成事，便下令将部分鲜卑士兵也掺杂了进去。
贺拔胜自从投降了元子攸就一直遭到尔朱氏的猜忌，尔朱兆多次扬言要杀他。贺拔胜也知道天下人都憎恨尔朱氏，只因他们兵力尚强，又各自盘踞一方，所以不敢贸然行动。于是假意劝说尔朱世隆，以集中兵力讨伐高欢为由，将尔朱兆和尔朱天光也都集中到了洛阳，便于之后一举剿灭。
尔朱兆率领轻骑想要趁夜偷袭邺城，但高欢早已部署妥当，使他无功而返。高欢深知此次尔朱兆已经调遣全部精锐倾巢而出，兵力远胜自己，与他的决战不可避免。所以第二天也集结了全部将士，并且命人用牛车堵住了全军退路，来宣示决一死战的决心。
交战前，尔朱兆远远斥责高欢恩将仇报背叛自己，高欢则怒骂他弑君的罪行。
最终双方终于开战，整个战场的气氛异常凝重，只有刀剑砍劈在一起的声响以及厮杀声格外清晰。刚开始高欢作战不利，被尔朱荣抓住机会追杀，多亏手下将领作战英勇，及时从四面赶来对尔朱兆实现包围。最终高欢仅以数千士兵大败数十万敌军，成功诛灭了尔朱兆的全部精锐，贺拔胜也在此役过后投降了高欢。
尔朱兆手下有位名叫慕容绍宗的将领，之前多次劝他提防高欢。直到此时，尔朱兆才后悔地对他说：“都怪我当年没有采纳你的建议，才有了今天如此的惨败！”慕容绍宗也知道尔朱兆大势已去，于是率众离开了他，投降了高欢。
之后洛阳发生兵变，那些为了保命而暂时臣服于尔朱氏的墙头草全都再次背叛，合谋杀掉了尔朱世隆并擒获尔朱天光献给高欢，就连最早追随尔朱荣的侯景也投降了。
尔朱天光前往洛阳前，留下弟弟镇守长安，并命令鲜卑将领侯莫陈悦辅佐他。贺拔岳知道尔朱天光此去必败，想要投降高欢，但又担心侯莫陈悦不同意，宇文泰建议道：“现在尔朱天光还没远去，所以侯莫陈悦未必有反心，如果我们据实相告可能会引起他的戒备。但侯莫陈悦素来无法约束下属，所以不如先游说他的部众，等到群情激奋让他进退两难时，事情就容易成功了。”贺拔岳大喜，最终果然成功偷袭了长安，抓获了尔朱天光的弟弟。高欢给予了贺拔岳很高的封赏，贺拔岳也将宇文泰提拔为高官，不论大事小情都会交给他去办。
尔朱世隆在山东的旧部听闻他的死讯便想投奔南梁，帐下一位将领欺骗他说：“现在军中人心涣散，您应该当众用刀割取左胸来与大家歃血为盟。”尔朱世隆的旧部同意了，结果当他把胸部袒开让那位将领割血时，对方直接利用这个机会将刀子插入了他的心脏，杀死他后投降了高欢。
高欢进入洛阳时，之前臣服于尔朱氏的那些墙头草又劝贺拔胜说：“如今天下大事其实都掌握在你的手中，何不趁着高欢立足未稳而先发制人？”但奸猾的高欢早就极力拉拢贺拔胜，甚至与他同吃同睡，所以贺拔胜也不忍心反叛他。
由于元恭聪慧英明，高欢担心日后难以控制便毒杀了他，改立孝文帝的孙子元修为新皇，是为孝武帝。之后高欢返回晋阳（山西太原），将元修和朝廷将他留在了洛阳。
兵败的尔朱兆逃亡之后，分兵据守各处险要以防追兵。高欢故意很长时间都没有进攻，等到尔朱兆防备松懈，开始举办新年宴会时才突然亲率大军征讨，果然打了他一个措手不及。走投无路的尔朱兆命令左右亲信砍下自己的头颅前去投降，众人全都不忍下手，他便自己找了棵树上吊而死，保存了最后的颜面。高欢得知后，亲自来到尔朱兆上吊的地方痛哭凭吊，并以很隆重的仪式将他下葬。
尔朱氏的残党内心不安，就开始挑拨元修想让他除掉高欢，而元修也一直因为高欢每次奉诏时都态度傲慢而心中不悦，于是开始增加侍卫人数，编制自己的亲卫军，选用的都是四方挑选出来的勇士。他还秘密联合贺拔岳和贺拔胜两兄弟，想用他们的力量对付高欢。
高欢的心腹得知后赶忙上告此事，劝他早日逼元修禅位，高欢听后用袖子捂住嘴说：“勿妄言！”
为了防止贺拔岳对付自己，高欢特意示好想要与他也约为兄弟。贺拔岳因为高欢奸猾，便派遣宇文泰出使好观察他的意图。高欢见到宇文泰后，对他与众不同的相貌啧啧称奇：“这个青年，将来一定不会是个普通人！”便想收为己用，但宇文泰却坚持回去复命。之后高欢送走了他，又后悔地派人前去追赶，可惜没有追上。
而事实也确实如高欢所料，不过他也没有想到宇文泰不仅将贵不可言，还会成为自己最大的仇敌。