但祖逖明白明白，石勒最终将会成为晋朝的最大威胁。于是他并没有继续西进，而是主动停下进攻的脚步，就地开始加固虎牢关，以此作为防御西边刘曜的屏障。因为祖逖此时决心北上与石勒决战了，对于西线他只求做到守势，防御好就可以了。

公元320年，祖逖再度上表建康政府的司马睿，请求政府发兵支持北伐。然而，东晋政府这边才刚刚结束为时七年的荆州杜曾叛乱。

王师没能等来，却等来一纸司马睿拒绝出兵的诏书，祖逖那颗炽热的心顿时凉到了冰点。更让祖逖难过的是，居然朝中有人污蔑他通敌卖国，想到这儿祖逖更加愤懑不平，这一气便气倒了。病中的祖逖长叹自己北伐之功，废于一夕，他想起了刘琨，想起了当初的闻鸡起舞，想起了自己的中流击楫。可是，这一切的一切都回不去了，弥留之际，祖逖喊来了弟弟祖约，将军事托付与他便阖目而逝了。祖逖死在雍丘，终年五十六岁。

祖逖死后，北方百姓无不痛哭，豫州人民更是自发为其修建了祠堂，时时祭拜，远在江东的司马睿追谥他为车骑将军。北方正是成为两赵的角逐场。

而南方，司马睿与王敦的冲突也开始了白热化，王敦之乱随即爆发，石勒又攻占河南，晋军被迫退到淮南，祖逖北伐的成果化为乌有。

前赵西北之地上还存在不少大小割据势力，就在刘曜准备兵发凉州之际，国内却爆发了一场叛乱。因为对刘曜汉化政策的不满，前赵国的解虎和尹车两位将军趁机发动军事政变，此次政变参与者还有氐族的句徐、库彭两位酋长，只不过这场政变最终以失败告终。句徐等氐族人自然是被统统杀光了，而且为了警告其他人，刘曜还将句徐等人的尸首示众十天后，统统丢进了水中。

此行为激起民怨，巴族人联合氐人聚兵关中，打响了反刘曜的战争。他们推举句渠知为统帅，建国“大秦”，改元“平赵”（这年号很有气魄），同时，关中一带的羌人和羯人一看造匈奴人反的机会来了，也乐呵呵地参与进去。

刘曜便任命游子远为车骑将军，负责统御关中的军事，其尽快歼灭了句渠知的叛军。

西北，护羌校尉张寔其父张轨是当地豪门望族，于公元317年自称凉王。在任期间，继续保持了先父宽仁治民的统治手段，收揽了大量人心。

可惜好景不长，仅仅三年后，即公元320年张寔便被部下刺杀了。随后整个凉州地区陷入了混乱之中，经过一系列火拼，最终张寔的弟弟张茂夺取了最高权力，成为前凉政权第三位统治者。依照惯例，凉州继续称臣于东晋，而东晋政府则加封张茂为平西将军、凉州牧。

公元324年，刘曜集结了三十万大军，浩浩荡荡地杀向了凉州。此消息一传出，整个凉州为之震恐，张茂连忙派部队去黄河沿岸布防，可是这些军队根本无法抵挡刘曜的匈奴兵，稍一接触便被打得丢盔卸甲了。

由此，刘曜得以从容地进入河东地带。张茂这人本就胆小，如今再被这么一吓，立刻便决心归降刘曜。不过张茂投降还是有条件的，他提议自己遵循前仇池旧例，即只是称臣前赵，接受刘曜领导，但保留军队自治权。