前秦的军队很快就兵不血刃地攻克了重城寿阳（安徽），谢玄在距离战场二十五里外的地方驻扎，但由于畏惧秦军的强盛，暂时不敢前去进攻。
苻坚派遣之前俘获的朱序前往晋军招降，朱序趁机向谢玄等人告密说：“前秦的百万大军尚未集结，应当趁现在将他们的先锋部队打败，如此才能大获全胜。”
之后刘牢之渡水大破前秦军队，斩杀一万五千人。苻坚这才开始感到不安，他登上寿阳城眺望时，慌乱之间甚至误将对面山上的草木都当成是敌人，从而流传出了“草木皆兵”的成语，然后对身旁的苻融说道：“是谁说东晋羸弱的，我看他们明明是劲敌。”
383年11月，淝水。
前秦的军队紧靠水边摆下阵势，使得东晋士兵不得渡过。谢玄派遣使者对苻融说：“您孤军深入，却死守淝水导致双方长时间不能交战，还不如后撤一些，使我们进军渡河，双方再一决胜负，打个痛快。”苻坚和苻融也都想引诱晋军渡河，等到他们行进到一半使再施以突袭，于是挥舞战旗指挥军队后退。
结果秦军刚一后退就开始莫名其妙的大乱，好像中邪了一般一发不可收拾，无数士兵无故溃逃。原来，是朱序趁前军后退时突然大喊：“秦军战败了！”并联合之前同样被苻坚赦免的前凉君主一同散播谣言，煽动军中非氐族的士兵共同反叛——苻坚的好心，终究没有好报。
而谢玄看到前秦军乱，知道朱序计策成功，立刻率兵渡过淝水大败秦军。苻融眼见兵败如山，想要赶紧重整齐鼓，然而不知为何战马突然跌倒，自己也被赶来的晋军杀死——可能他的身边也早已布满反叛之人。秦军更加混乱，互相践踏的士兵数不胜数，尸骸堆满了河道。逃走的士兵听到刮风和仙鹤鸣叫的声音都以为晋军追来了，日夜不敢休息，一路逃亡——这就是成语“风声鹤唳”的由来。
此役，十分之八的秦兵全部死去，就连苻坚自己都身中流矢，一个人骑马逃往了北方，途中没有饭吃十分饥饿，多亏爱戴他的百姓准备了汤泡饭和猪骨头给他，而且始终拒绝赏赐。苻坚不禁转头对自己夫人哭诉道：“我实在无颜再面对这些忠诚的子民。”
此时的谢安正和宾客下棋，突然收到了前线捷报，但他却如同往常一样淡然，没有一点欣喜之色。宾客询问他是什么消息，他也只是慢条斯理地说：“没什么，就是小辈们已经击败了入侵的贼人。”直到返回卧室后，谢安才喜形于色，甚至连脚下的木屐坏了都没发觉。不过此战过后，谢安由于名望声誉均达顶峰，逐渐遭到了晋孝武帝的猜忌。
其实东晋的军力放眼整个时代都是偏弱的，别说对抗百万秦军，就是同等兵力之下都居劣势，但为什么能够击败所向披靡的前秦呢？原因有三：首先就是苻坚的个人能力有限，他的辉煌全靠王猛铸就，王猛死了，前秦的衰败也就可以预见了。其次，百万大军本就过于庞大不好调配，而前秦这边，邓羌、王猛业已去世，吕光远征西域，只剩苻融一个可靠的将领，所以最终出现了混乱。第三，就是老生常谈的民族融合问题。苻坚为了显示对所有子民一视同仁，一再降低氐族在政权中的参与比例，然而直到最后才发现，只有氐族人才是与自己一条心，其他各族都是唯恐天下不乱，一旦军中的氐族精锐被瓦解，他们就会作鸟兽散。而苻坚每当俘获敌军将领或重臣又一概不杀，还让他们继续担任统帅要职，使得各族在军中都保留了完整建制而形成“国中之国”，时刻等待着反叛。所以淝水之战中，当晋臣朱序里应外合地煽动叛乱时，其他各族也都心领神会的同时发难，致使百万大军瞬间四分五裂，各族重归各族。
前秦各路军队皆已溃散，唯有慕容垂的三万士兵完好——可见他在淝水之战中没有怎么出力。于是苻坚便跑去投奔他。几乎所有人都劝慕容垂杀掉苻坚，吞并前秦基业，因为这对于此时的慕容垂来说轻而易举，然而慕容垂却拒绝了：“秦王待我恩重如山，在我无处容身之际亲身接纳，又在王猛数次想要杀我之时伸以援手。就算上天想要灭亡氐族，我也只会招抚东边的士民恢复我们燕国本来之基业，函谷关以西属于秦王的地盘我终身不会占取。”还将自己掌管的所有军队都交给了苻坚。
苻坚是个理想主义者，他的所作所为从现实来讲完全不合理，甚至有些接近大慈大悲的菩萨，对于任何人都无条件地信任，他的失败也证明了菩萨心肠在政治斗争中是无法生存的。然而慕容垂也同样难得，他的可贵之处就在于自始至终也没有因为功名利益泯灭了人性，他这么一个惊世之才，一个时时刻刻都想复国建功之人，竟然放过了吞并苻坚的最好时机，只因心中还残存着对他的感恩。慕容垂的行为同样不合常理，然而却体现出了一个有血有肉的人格，而非冰冷的“政治机器”。
之后，慕容垂请求前往北方招抚败军，苻坚答应了，有臣子劝他说：“国家刚刚战败，四方都有离散之心，您应将有才能的将领安置于自己身旁以稳固根本。慕容垂智勇过人，且世代都是北方豪杰，恐怕此去不会再返，函谷关以东的祸乱恐怕就要开始了。”苻坚不听，还将好不容易集结起来的十万兵马全部分散，前去戍守在河北、山西、河南。
苻坚的儿子苻丕也担心慕容垂反叛，于是派遣数千氐族士兵跟在他身边监视，正赶上苻坚派遣慕容垂前去讨伐叛乱，慕容垂便对身边的氐族士兵说：“现在贼寇与我们相距不远，我们应当白天休息，晚上行军，这样才能出其不意。”众人都认为有理。等到晚上，慕容垂特别安排长子慕容宝带领士兵走在前方，自己与小儿子殿后，将氐族士兵夹在中间，然后他一声令下，所有部署同时前后夹击氐族士兵，将他们尽数杀光。
当时慕容垂的几个儿子都在前秦担任要职，听说他反叛，便迅速从四面八方带领士兵集结而来，助他迅速渡过黄河前往荥阳（河南）。此时的慕容垂已经年近六十，历经多年隐忍准备，终于成功重建了燕国的朝廷并且称王，成为了五胡十六国中“后燕”的开国之君。之后前来归附之人络绎不绝，步兵、骑兵都风起云涌般相聚而来。
得知情况的苻丕赶忙派遣一万骑兵前去讨伐，慕容垂的另一个儿子慕容农深谙用兵，立刻与其他将领商议道：“前秦士兵装备精良，我们的将士看到后难免畏惧，不如等晚上看不见的时候再去进攻。”于是趁夜出兵大败了前秦军队。之后在与反叛的丁零人作战时，他再度展现了超高的用兵智慧：“如今在敌人的阵营中居然看不到身强力壮的士兵，说明他们被安排在了别处作为埋伏。另外丁零人虽骁勇，但此次率领他们前来的统帅却看似懦弱，我们不妨拣选精锐直接向他进攻，一旦统帅逃亡，他的士兵也必然溃散。”后来一切果如他所料。
慕容垂趁势包围了苻丕所在的邺城，他不想伤害苻丕，于是写信希望苻坚能早日将苻丕调回长安，不做无谓的抵抗，他也会往开一面不下杀手。苻坚看后暴跳如雷，怒斥慕容垂忘恩负义，对他趁自己兵败而反叛的行为又是震惊又是恼怒，久久难以接受，还把慕容玮叫来倾诉：“你们慕容家的竟然能将事情做到这个地步，真是人面兽心！”吓得慕容玮连连磕头，甚至磕出了血。然而仁慈善良的苻坚还是没有忍心迁怒慕容玮，待他还像从前一样。
不久邺城粮草耗尽，慕容垂眼见苻丕不肯离去又不忍对他下手，只得下令解除了对邺城的包围：“看来苻丕不愿投降，我们不如为他打开向西返回长安的通路，也算报答秦王之前的恩情。”
前秦的军队接连遭到挫败，人情早已骚动不安，各地都开始蜂拥割据。地处陕西和甘肃的乞伏鲜卑，之前迫于前秦的威慑而投降，等到苻坚进攻东晋，还将他们的首领乞伏国仁任命为将军，让他率领骑兵作为先锋。结果前秦刚一战败，乞伏国仁就开始了反叛，陆续吞并周边部族，部众超过十万，不久只后建立了五胡十六国中的“西秦”。
东晋也在谢安的建议下，趁着前秦的颓势开始北伐，迅速攻占了重城兖州（河南）和彭城（江苏）。刘牢之一路攻打到了后燕的黎阳（河南），暗中联合苻丕想要夹击慕容垂。于是慕容垂留下慕容农防御苻丕，自己则亲率大军与刘牢之对阵。苻丕得知这个消息后，立刻趁夜偷袭后燕守军，却被慕容农打退，而刘牢之也在与慕容垂的初次交手中落败。不久，双方再度于邺城附近交手，这次慕容垂被刘牢之所败，率部向北逃去，苻丕再次把握时机，下令出兵跟随刘牢之一同追击。慕容垂对属下说：“秦国和晋国并非同心同德，不过是实力不足报团取暖罢了，一旦其中一方战败，另一方也必然溃散，所以我们应趁他们尚未合兵一处时迅速猛攻。”于是故意沿途丢弃物资，刘牢之的军队急行了两百多里好不容易才追上慕容垂，看到这些物资后立刻争相抢夺，慕容垂趁机伏兵偷袭，大败晋军，斩杀过千，多亏前秦的救兵及时赶来，不然刘牢之可能都要折损于此役。