四月，朝廷发布命令，让张俊、韩世忠、岳飞这三位大将离开他们统领的军队，前往临安枢密院任职。其中，韩世忠和张俊担任枢密使，岳飞则被任命为枢密副使。
五月，张俊与岳飞一起视察楚州韩世忠的军队。期间，张俊暗中挑拨岳飞，企图让他一起分解这支军队。然而，岳飞毫不客气地拒绝了张俊的提议，并表示自己绝不会参与这样的行为。与此同时，秦桧试图利用军吏耿着的事情来诬陷韩世忠。岳飞得知此事后，立刻写信通知韩世忠，帮助他逃过一劫。
岳飞回到朝廷后，立即遭到了秦桧党羽万俟卨和罗汝楫的弹劾。他们污蔑岳飞在支援淮西时故意拖延时间，并且主张放弃守卫山阳（楚州）。这些莫须有的罪名导致岳飞最终失去了枢密副使的职位。
八月九日，岳飞被罢免了枢密副使的职务，转而担任“万寿观使”这一清闲官职，于是岳飞请求回到江州庐山老家过悠闲生活。
尽管此时岳飞已经失去了兵权和权力，但对他的迫害却并未停止，反而越发紧迫。在秦桧的指示下，张俊利用岳家军内部的矛盾，逼迫都统制王贵诬陷岳飞，而王贵最终屈服于压力。接着，张俊收买了张宪部下的副统制王俊，让他出面告发张宪“谋反”，以此来牵连岳飞，并找人代替他写好了一份告发书。当王俊得知张宪外出时，他趁机将告发书投递给了王贵。随后，王贵将这份告发书转交给了秦桧的心腹林大声。林大声再将它传递给了张俊所在的枢密行府。没过多久，张宪回来了，张俊立刻抓住机会将张宪逮捕。
张俊私自设立公堂，对张宪施以残酷的刑罚，试图逼供。然而，由于没有得到任何有用的信息，张俊竟然编造了张宪的口供，声称他“为收岳飞处文字谋反”。岳飞在江州停留的时间很短，很快就收到了朝廷的命令，要求他返回临安府。
秦桧心中暗自思忖着，他派遣了殿前都指挥使杨沂中去秘密拘捕岳飞，并且特别叮嘱道：“务必要活着把岳飞给带回来！”尽管岳飞已经察觉到杨沂中的来意并不友善，但他仍然毫不犹豫地决定跟随他前往。
时间来到了十月十三日，岳飞被无情地投入了大理寺的狱中，而在此之前，他的长子岳云也早已被关进了监狱。
岳飞挺直了身躯，义正言辞地面对着审讯者，他坦然地露出了自己背上那曾经刻下的四个大字——“尽忠报国”。主审官何铸见到这一幕，内心不禁为之触动。然而，当何铸深入调查后发现岳飞一案存在冤案时，他如实向秦桧禀报。秦桧却冷漠地回应道：“这是皇上的旨意啊！”随后，秦桧改变主意，命令万俟卨来主审这个案件。
万俟卨将王俊等人的诬陷状摆在岳飞面前，怒声喝道：“国家对你有何亏欠，你们三个人竟然要背叛国家？”岳飞坚定地回答道：“我对着苍天发誓，我没有辜负过国家。你们既然掌握着公正的法律，就不应该陷害忠诚的臣子。如果你们继续这样做，我即使到了地府，也会和你们争论不休！””万俟卨一脸奸笑地看着岳飞，然后阴阳怪气地说道：“相公既然没有谋反之心，那还记得当年游览天竺寺时，曾在墙壁上留下的诗句吗？‘寒门何载富贵’这几个字，难道不是你想要谋反的证据吗？”听到这句话，周围的人纷纷附和道：“既然写下了这样的诗句，难道还能说他不想谋反吗？”岳飞听后悲愤交加，但还是冷静地回答道：“我现在终于明白自己落入了秦桧这个奸臣手中，我对国家的一片忠心，恐怕都会化为泡影！”说完，他便不再辩驳，任由狱卒们对他严刑拷打。
万俟卨等人想尽各种办法，试图让岳飞承认谋反的罪名，但岳飞却始终不肯屈服，甚至选择绝食来抗议。最后，在儿子岳雷的悉心照料下，岳飞才勉强支撑着活了下来。
就在这时，宋金两国之间的谈判取得了重大突破。11月7日，双方正式达成了“绍兴和议”：宋朝向金国俯首称臣，并将淮河以北的大片领土拱手相让，这些地方包括曾经被岳家军夺回的唐州、邓州、商州、虢州等地；此外，宋朝还要每年向金国进贡二十五万两白银和二十五万匹绢帛。
和议虽然已经达成，但是岳飞却始终没有得到释放。万俟卨等人对他严刑拷打，用尽各种酷刑，试图逼迫他承认莫须有的罪名，但岳飞宁死不屈，坚决不肯认罪。为了坐实冤狱，他们不择手段，搜罗编造了许多罪名强加给岳飞，包括所谓的岳飞父子与王贵、张宪密谋造反，岳飞曾经口出狂言指责皇帝，以及岳家军在援助淮西时按兵不动、坐视成败等等。这些都是子虚乌有的罪名，目的就是要让岳飞罪不可赦，必死无疑。
大理寺丞李若朴和何彦猷坚信岳飞无罪，与万俟卨据理力争，极力为岳飞辩护。然而，他们的正义之举并未得到应有的尊重，反而遭到罢黜官职的惩罚。宗正卿赵士?甚至不惜以全家百口人的性命担保岳飞的清白，但同样遭到万俟卨的弹劾，不仅被革除职务，还被驱逐出临安。
此外，还有一些文人墨客纷纷挺身而出，为岳飞鸣冤叫屈。文士智浃、平民刘允升、范澄之都勇敢地上书朝廷，为岳飞伸冤。但他们的正义行为并没有得到支持，反而遭受牵连，刘允升更是被押入大理寺，最终惨遭杀害。智浃和范澄之也在流放途中含冤去世。
已经退休在家的韩世忠听到岳飞被关进监狱后非常愤怒，于是质问秦桧为什么要这么做。秦桧回答说：“虽然岳飞儿子岳云写给张宪的书信还没有找到确凿证据，但这件事情或许存在吧。”韩世忠气愤地说道：“相公啊！就凭这三个字‘莫须有’怎么能让天下人信服呢？”