绍兴十一年（公元1141年），岳飞38岁。

五月，张俊在和岳飞巡视楚州韩世忠的军队时，暗中挑唆岳飞，欲一同分解此军，却遭岳飞严肃回绝。

秦桧又欲借军吏耿著之事陷害韩世忠，岳飞得知，便修书通报韩世忠，再次保全了韩。

可惜岳飞保全了韩世忠，却没有人可以保全他自己。

岳飞回朝后，即遭秦桧党羽万俟卨、罗汝楫的弹劾，诬蔑岳飞援淮西“逗留不进”、主张“弃守山阳（楚州）”，要求免除岳飞枢密副使之职。

八月九日，岳飞被罢枢密副使，充“万寿观使”的闲职，岳飞自请回到江州庐山旧居赋闲。

岳飞此时已无兵无权，但对他的迫害却仍在步步紧逼。

岳飞离开岳家军，南宋国内外反动既得利益集团，对他的阴毒杀害，已经开始倒计时。

连有名无实的枢密院副使都被罢免，南宋国内外反动既得利益集团，已经不用顾及任何事情，可以对岳飞下杀手了。

在秦桧授意下，张俊利用岳家军内部矛盾，威逼都统制王贵诬陷岳飞，王贵屈从。

又收买张宪部副统制王俊，让其出面首告张宪“谋反”，从而牵连岳飞，并命人代他写好一份告首状。

张俊私设公堂，向张宪严刑逼供，毫无结果之下，竟捏造张宪口供“为收岳飞处文字谋反”。

岳飞在江州居留，为时甚短，就接到宋廷命令，召他回“行在”临安府。

秦桧派殿前都指挥使杨沂中秘密拘捕岳飞，并嘱咐：“要活底岳飞来！”

岳飞虽已知杨沂中来意不善，还是毅然随之而往。