之后他投身北府兵，在刘牢之麾下做事。刘牢之在攻打孙恩时，特意举荐了刘裕带领几十个人去探查敌营。结果刘裕一伙人在途中不幸碰上了数千名敌军主力，几乎全员战死。刘裕的直属长官奇怪于众人为什么这么久还不归来，赶忙率兵接应，抵达时才发现现场已血流成河，遍地都是自己士兵的尸体。正当他以为刘裕也凶多吉少时，突然看到了令他永生难忘的一幕：孤身一人的刘裕，举刀大声呼喊，竟然一人追在上千敌人后面乱砍，而敌人竟然也只有逃跑的份，无一人敢回头还击。
此后，众人都对刘裕的作战能力惊叹不已——而刘裕这种天不怕、地不怕的刚猛作风，也始终贯穿于他的军旅生涯，使他之后百战百胜，差点创立一统天下的惊世之功，成为中国历史上唯二能够北伐成功之人，另一个是明朝开国皇帝朱元璋。
刘牢之眼见刘裕战力如此强悍，便派遣他继续进攻叛军，每次都能成功斩杀数千人。
当初孙恩刚起兵攻陷会稽时，得意地对手下说：“天下自此不会再有战争，我会和各位一同穿上朝服，进入建康称王称霸。”等到听说刘牢之已经带领北府兵前来，赶忙改口：“就算浙江以东被晋国攻陷，我也可以做个和越王勾践一样的皇帝。”之后刘牢之都带兵功到眼前了，孙恩才感到害怕，只剩嘴硬地说道：“我认为暂时撤退也不是一件羞耻之事。”说罢便向东逃往海岛。
刘牢之抵达后，为了犒赏一直跟随自己的将士，放纵他们抢掠百姓，因而大失人望。
身处河西（甘肃、青海）的鲜卑人秃发乌孤也自称大单于，建立了五胡十六国中的“南凉”，后凉的吕光派兵讨伐，双方战于当年马谡兵败的街亭（甘肃），后凉的军队被打得大败。
之后吕光又派遣弟弟讨伐西秦的乞伏乾归——乞伏国仁的继承人。乞伏乾归对众人说道：“战争的胜败在于用兵的巧妙而不在于人数多寡，后凉的军队虽然人多但缺乏纪律，吕光的弟弟也的确骁勇却没有谋略，只要打败他，吕光就不敢再来进犯。”于是派人欺骗吕光的弟弟：“乞伏乾归的军队已经溃散，他自己也向西逃窜。”吕光弟弟的手下劝他道：“乞伏乾归智勇过人，又怎会只听到我们进攻的风声就溃逃呢，这必然是他的诡计。”吕光的弟弟不听，结果闯入了乞伏乾归设置好的包围圈最终被杀。
当初，胡人沮渠罗仇归附了吕光。等到吕光弟弟战败，沮渠罗仇的弟弟对他说：“如今的主上已经年老昏聩，十分容易轻信小人谗言，再加上刚刚兵败，我们兄弟二人一定不会被他所容，与其死后寂寂无名，还不如振臂一呼夺取凉州之地来得容易。”沮渠罗仇素来将忠孝看得很重，没有同意，后来吕光果然听信谗言将他杀害。沮渠罗仇的侄子沮渠蒙逊是一个英明伟略之人，曾略读史书，趁着沮渠罗仇的葬礼邀请了一万多族人，哭着对他们说：“吕王昏庸不讲道理，杀死众多无辜，我们沮渠氏世代在河西都能占据一席之地，现在我要率领各位洗刷先辈的耻辱，恢复祖辈的事业，大家认为如何？”于是得到一众支持，攻占了附近的城池作为据点。吕光派遣刚刚助他平定叛乱的儿子吕篡前去进攻，将沮渠蒙逊打回了山里。
后来沮渠蒙逊投降了太守段业，协助他于甘肃省武威市建立了五胡十六国中的“北凉”，然后又发动政变杀死他篡夺了政权。
陇西人（甘肃）李暠喜爱文学，在外的名声又好，被众人一致推举为敦煌太守，结果遭到段业猜忌而派遣将领前去接替。之后，李暠偷袭杀死了那位将领自立为王，建立了五胡十六国中的“西凉”。
这个李暠大家可能并不熟悉，但他的子孙却是家喻户晓——唐高祖李渊。
于是，甘肃和青海这两个本来只有几个郡县的地区被分割成了数个小国，相互之间战乱不断，其中以吕氏的“后凉”，乞伏鲜卑的“西秦”，沮渠胡人的“北凉”以及秃发鲜卑的“南凉”最为强大。
结果没过多久吕光病重，将太子吕绍立为继承人，他知道吕绍没有足够的才能，所以嘱咐他道：“现在国家正是多灾多难，群狼环伺之时，乞伏、沮渠和秃发三个邻国无时无刻都想入侵我们。我死之后，你要让哥哥吕篡掌管军事和朝政的重任，切勿因相互猜忌而导致内乱。”
结果吕光死后，吕篡竟没有丝毫悲伤之情，参加葬礼时态度十分傲慢。手下劝吕绍除掉他，然而吕绍一向是个软弱听话的孩子，将父亲吕光的遗言牢牢铭记心中，始终不肯同意。然而吕篡可不是善男信女，很快就连夜发动政变闯入了皇宫，逼迫吕绍自杀后篡位。
魏军中发生大瘟疫，人和牲畜死伤超过半数，将士们也都想早日离去，但拓跋珪却说：“这是天意，如今四方百姓都可成为国之栋梁，就看我如何役使，又何必担心他们死光后无人可用？”——虽然无情，但却有理。
之后魏军进攻后燕的都城中山（河北），慕容麟率军阻击，正当拓跋珪也打算出兵时，手下文官说道：“今天不是吉日，正是商纣王灭亡的日子。”拓跋珪反驳道：“纣王是在今天灭亡的，然而周武王不也是在今天兴起的吗？”说罢率兵出击，大败慕容麟，打得他只剩下几十残兵，不得不带着妻女逃回邺城。拓跋珪顺利进入中山，得到府库珍宝无数，后燕的公卿、臣子、士卒等投降之人超过两万。
得偿所愿的拓跋珪想要北归，于是发动一万多名士兵从中山开凿道路通往魏国，将河北、山东各州的十多万百姓和蛮夷全部迁走来充实力量，还在中山留置驻军镇守。之后，他将北魏的都城从内蒙古盛乐迁移到山西平城，将拓跋氏祖上的宗庙也一并迁移，开始经营中原。
之后拓跋珪又成功打败北方强悍的高车部族，俘获七万多人，三十多万马匹以及一百四十多万头牛羊。
驻守在邺城的慕容德听说了中山被攻克的消息，而逃回的慕容麟也极力向他陈述拓跋珪的年老体衰。于是慕容德上表规劝慕容宝再次进取中原，然后在慕容麟的建议下，效仿哥哥慕容垂自称燕王并开始使用皇帝礼制，建立了五胡十六国中的“南燕”。结果慕容德登基后的第一件事，就是以谋反的罪名将慕容麟斩杀。
慕容宝听说中原空虚，果断选择再次出击。慕容农劝道：“我们的士兵都已疲惫，而魏国刚刚得志，此时不可与他们为敌。”慕容宝不听，结果刚走到半路，手下那些不愿远征的士兵就发起了叛乱，差点杀死慕容宝，多亏慕容农冒死相救，最终二人狼狈逃回龙城（辽宁）。
叛军将龙城重重包围，慕容农眼见敌方势大，为了保全自己偷偷出城投降，于是叛军押着他在城下游行。慕容农在燕国素有极高的名望，所以城中守军眼见他如此便纷纷溃散，使得叛军成功攻入龙城，慕容宝骑着快马再次逃亡，慕容农也于不久后被叛军所杀。
慕容宝一路向南抵达邺城附近，派遣随从前去命令慕容德护驾。很快慕容德就派遣了几百个壮士前来，名为保护，实际上是想除掉慕容宝。而慕容宝也偶然听到附近的樵夫说慕容德已经称帝的事，于是赶忙又向北逃亡。慕容德抓住了慕容宝的侍从，想让他为自己效命，对方却说：“您身为皇上的叔父，不助他匡扶社稷，反而做出如同当年司马伦一般大逆不道之举，我耻于与你共事。”慕容德听后大怒，将他杀害。
慕容垂的舅舅兰汗假意与叛军联合，率兵偷袭诛灭了他们，然后派遣使者前去迎接慕容宝。慕容宝的手下都认为兰汗忠奸难辨，劝他先行观望，但慕容宝认为兰汗是慕容垂的舅舅，又与自己是儿女亲家，可以对他放心，于是毫无防备地前往，结果被兰汗所杀。
之后，慕容宝的儿子慕容盛利用自己是兰汗女婿的身份假意投诚，大肆离间兰汗与下属的关系使他们四分五裂，然后趁着犒赏士卒，众人全都酒醉之机发动政变，杀死了兰汗及他的弟兄们，成功从后燕的亲属内乱中胜出，成为了第五位君主。