淮西之戰後，岳飛與張俊、韓世忠同時接到了大本營的召見令。當時的宰相張浚試圖收回各大將的兵權，因為這些人久握重兵，而且常常不聽皇帝的命令，這是為了保宋朝江山考慮。要知道，當年的宋朝立國就是因為宋太祖手握重兵，逼迫孤兒寡母得來的。張浚的做法是表示一個臣子的忠心，而岳飛卻遲遲不肯來朝，來了之後也不願意交出兵權。收回大將的兵權，但軍隊卻沒有解散，只是把這三大軍隊合併成“禁軍”，歸皇帝指揮，三大將還是有指揮軍隊的權力，但要受皇帝的節制，這本身沒有什麼錯：
[宋紀一百二十四] “張浚在相位，以諸大將久握重兵難制，欲漸取其兵屬督府，而以儒臣將之。 會淮西軍叛，浚坐謫去。趙鼎繼相，王庶在樞府，複議用偏裨以分其勢，張俊覺之， 然亦終不能奪其柄。至是同獻計於秦檜，請皆除樞府而罷其兵權，檜納之，乃密奏於帝以柘皋之捷，召韓世忠、張俊、岳飛並赴行在論功賞。時世忠、俊已至，而飛獨後，檜與參知政事王次翁憂之，謀以明日率三大將置酒湖上，欲出，則語直省官吏曰：“姑待嶽少保來。”益令堂廚豐其燕具。如此展期以待，至六七日。 及是飛乃至。上即召同入，諭令與給事中兼直學士院林待聘分草三制。壬辰， 以揚武翊運功臣、太保、京東、淮東宣撫處置使兼河南北諸路招討使、節制鎮江府英國公韓世忠，安民靜難功臣、少師、淮南西路宣撫使兼河南北諸路招討使、濟國公張俊併為樞密使，少保、湖北、京西路宣撫使兼河南北諸路招討使岳飛為樞密副使，並宣押赴本院治事。”
高宗決定：三帥同參知政事（升副宰相職），張俊、韓世忠同為樞密使，岳飛副之，岳飛排在第三位。 張俊立即將所部兵權交御前司（由大本營親掌），韓世忠不置可否，岳飛則留戀兵權，力辭樞密副使職。高宗安慰三帥[宋紀一百二十四]： “朕昔付卿等以一路宣撫之權尚小，今付卿等以樞府本兵之權甚大，卿等宜共為一心，勿分彼此，則兵力全而莫之能御，顧如宗弼(金兀朮)，何足掃除乎！”
[疑點]：如果岳飛真的非常忠心，何必對上交兵權如此遲疑？在高宗管治下，他依然可以指揮打仗麼，難道岳飛的軍隊只屬於岳飛自己，而不屬於皇帝？
高宗是日下詔： “宣撫司並罷，遇出師，臨時取旨。逐司統制官已下，各帶御前字入銜，且依舊駐剳；將來調發，並三省、樞密院取旨施行。仍令統制官等各以職次高下輪替入見。”
隨後高宗命韓世忠負責將樞密使辦公地點遷移，置司鎮江，張俊與岳飛赴淮東巡視邊防。張俊見海州城不易守，毀城遷民至楚州。而楚州屢遭戰火，城牆破敗不堪，俊欲修固，岳飛竟言：“當戮力以圖恢復，豈可為退保計？” 戮力以圖恢復，就可不為退保計麼？只知全力進攻，卻不要防守，結局會怎樣呢？史載： “（韓世忠）授武寧安化軍節度使、京東淮東路宣撫處置使，置司楚州。世忠披草萊，立軍府，與士同力役。夫人樑（紅玉）親織薄（草簾）為屋。將士有怯戰者，世忠遺以巾幗，設樂大宴，俾婦人粧以恥之，故人人奮厲。撫集流散，通商惠工，山陽（楚州舊名）遂為重鎮。劉豫兵數入寇，輒為世忠所敗。”
可見，楚州乃屏蔽淮東、宋金必爭的軍事重鎮。而此時岳飛竟説出這樣的話，這是一個軍事專家應有的態度麼？難怪張俊聽了勃然變色！
[疑點]：岳飛不願意交出兵權，現在又對戰略要地的防守橫加指責，張俊對岳飛的忠心程度更加懷疑。
回大本營後，岳飛始終堅持辭去樞密副使一職，返回兩鎮（鄂州、襄陽），也就是回到原先的統兵位置上去。高宗詔曰： “朕以二、三大帥各當一隅，不足以展其才，故命登於樞機之府，以極吾委任之意。”
“今卿授任甫及旬浹，乃求去位，行府之命，措置之責，乃辭不能。舉措如此，朕所未喻。夫有其時，有其位，有其權，而謂不可以有為，人固弗之信也。”
把三大帥聚到一起，同掌國防之重，而各地軍兵輪流入衞，史載： “乙亥，詔有司造克敵弩，韓世忠所獻也。帝謂宰執曰：‘世忠宣撫淮東日，與敵戰，常以此弩勝。朕取觀之，誠工巧，然猶未盡善。朕籌畫累日，乃少更少，遂增二石之力而減數斤之重，今方盡善，後有作者，無以加矣。’”
高宗身為一國之君，竟能完善前線用的“克敵弓”，而岳飛就是不肯在大本營幹，一再要求辭職。
[疑點]：岳飛為什麼不肯在皇帝手下指揮軍隊？不同樣是為了國家麼？岳飛的忠心再次被質疑。
不但張俊懷疑岳飛的忠心，其他文官也懷疑岳飛的忠心，著名忠臣何鑄指責岳飛：
[宋紀一百二十四] 壬子，右諫議大夫万俟禼疏言：“樞密副使岳飛，爵高祿厚，志滿意得，平昔功名之念，日以頹墜。今春敵兵大入，趣飛掎角，而乃稽違詔旨，不以時發。久之一至舒、蘄，匆卒復還。幸諸帥兵力自能卻敵，不然，則敗撓國事，可勝言哉！比與國列按兵淮上，公對將佐謂山陽為不可守，沮喪士氣，動搖民心，遠近聞之，無不失望。望免飛副樞職事，出之於外，以伸邦憲。”癸丑，帝謂大臣曰：“飛倡議不修楚州城，蓋將士戍山陽久，欲棄而之他。飛意在附下以要譽，朕何賴焉！”
何鑄(1088年～1152年)，字伯壽，餘杭人。北宋政和五年(1115年)進士。歷官州縣。以品德高尚、品性剛直入為諸王宮大國小教授，先後任祕書郎、監察御史、御史中丞等職。南宋紹興十一年(1141年)，岳飛下獄，何鑄時任御史中丞，被命主持審訊。何鑄曾經試圖免除岳飛死罪。 但是，皇帝堅持重判。後來，何鑄因反對議和， 降為祕書少監，謫貶徽州。後起用為温州知府。不久授端明殿學士提舉萬壽觀兼侍讀，力辭不就。再次出使金國，回國後任資政殿學士，出知徽州。不數月，提舉江州太平興國宮。年六十五而卒。諡“通惠”，嘉定元年(1208年)，改諡“恭敏”。
[宋紀一百二十四]：“御史中丞何鑄、殿中侍御史羅汝楫復交疏論之，大略謂：‘飛被旨起兵，則略至龍舒而不進；銜命出使，則欲棄山陽而不守。以飛平日，不應至是，豈非忠衰於君邪！自登樞筦，鬱鬱不樂，日謀引去。嘗對人言：‘此官職，數年前執政除某而謀不願為者。’妄自尊大，略無忌憚。近嘗倡言山陽（楚州）之不可守，軍民搖惑。使飛言遂行，則幾失山陽，後雖斬飛何益！乞速賜處分，俾就閒祠，以為不忠之戒。”
[疑點]：岳飛的忠心受到當時最廉潔正直的官員質疑，不只是張俊和秦檜。難道為了岳飛的神話，把何鑄也説成是漢奸麼？為了樹立岳飛這個神，宋朝已經有太多被誣衊成漢奸的了，有張俊，秦檜和張邦昌等等。岳飛在南宋並不怎麼出名，是元明清三朝的儒林子弟樹立起的神話，尤其是明朝和民國期間。岳飛的“忠義”是儒教精神， 吹捧岳飛就是頌揚儒教。不過，儒教造神的本事出神入化，岳飛已經成了中國的民族魂，誰敢指責岳飛，就會被戴上漢奸的帽子，誰敢為張俊秦檜和張邦昌説公道話，就會被指責成賣國賊，這樣，儒教就可以永遠光耀萬世了。儒教又是什麼？儒教是中國文化，滲入到每個中國人的骨髓，而中國人愛撒謊愛造神的劣根性正是來自儒教的毒害。
“鑄孝友廉儉。既貴，無屋可居，止寓佛寺。其辨岳飛之冤，亦人所難。然紹興己未以後，遍歷台諫，所論如趙鼎、李光、周葵、範衝、孫近諸人，未免迎望風旨，議者以此少之。”
趙鼎也是主和派，只是強硬些，為此而與秦檜不睦，但李光可是一直被認做秦檜親信的，後也確被秦檜提名參知政事，位列宰相，“光與右僕射秦檜議事不合，於帝前紛爭，且言檜之短，殿中侍御史何鑄因劾光狂悖失禮”。
孫近被反對議和的樞密院編修官胡銓列為“不共戴天”的三該殺！“臣謹按王倫本一狎邪小人，市井無賴，頃緣宰相無識，遂舉以使敵。專務詐誕、欺罔天聽，驟得美官，天下之人切齒唾罵……臣竊謂不斬王倫，國之存亡未可知也……雖然，倫不足道也，秦檜以心腹大臣而亦然……臣竊謂秦檜、孫近亦可斬也……臣備員樞屬，義不與檜等共戴天日，區區之心，願斷三人頭竿之藁街”
何鑄連他們都參倒了，何鑄應是一個合格的諫官。
按規定，宰執若被諫官彈劾，應立即辭職的。正好此前岳飛一直在堅持辭職，故此大本營這次便接受了岳飛的辭職申請，但拒絕其返還鄂州或襄陽，命其住留臨安，“仍奉朝請”，也就是逢一、逢五須列朝站班，因為岳飛還保留了少保的榮銜，及“特授”了他原任的武勝、定國軍兩鎮節度使虛職，並充萬壽觀使。[宋紀一百二十四] 八月，甲戌，少保、樞密副使岳飛復為武勝、定國軍節度使，充萬壽觀使。但岳飛就是不願在臨安住，隨後告病假，與岳雲回到江西九江的家中。
九月大本營派軍器少監鮑琚到鄂州查對宣撫司帳目，鄂州前軍副都統制王俊，詣都統制王貴，告發副都統制張憲，説其謀據襄陽為變，證據則是岳雲寄給張憲的幾封信，內容大約是要張憲等人在前線挑動金人，引發戰事，逼大本營讓岳飛復職領兵，並言“可與得心腹兵官商議”。 張俊在行府，聞之，遂收憲屬吏。
戊寅，少保、醴泉觀使岳飛，下大理寺。 先是樞密使張俊言張憲謀反，行府已有供到文狀，左僕射秦檜乘此欲誅飛，乃送飛父子於大理獄，命御史中丞何鑄、大理卿週三畏鞫之。
癸巳，揚武翊運功臣、太保、樞密使、英國公韓世忠罷，為橫海、武寧、安化軍節度使，充醴泉觀使，奉朝請，進封福國公。 世忠不以和議為然，由是為秦檜所抑。至是魏良臣等復行，世忠乃諫，以為： “中原士民，迫不得已淪於域外，其間豪傑，莫不延頸以俟吊伐。若自此與和，日月侵尋，人情銷弱，國勢委靡，誰復振乎？”又乞俟北使之來，與之面議，優詔不許。世忠再上章，力陳秦檜誤國。言者因奏其罪，上留章不出。世忠力求閒退，遂有是命。世忠自此杜門謝客，絕口不言兵，時跨驢攜酒，從一二童奴遊西湖以自樂，平時將佐罕得見其面雲。
丁未，光山軍節度使、開府儀同三司、判大宗正事、齊安郡王士祇，提舉西京嵩山崇福宮。 岳飛之下吏也。士祇草奏欲救之，語泄。論：“頃岳飛進兵於陳、蔡之間，乃密通書於士祇，敍其悃愊，蹤跡詭祕。範同頃為浙東憲，與士祇通家往還，或以他故數日不克見，則必遣其屬邵大受往傳導言語， 窺伺國論。士祇身為近屬，在外則結交將帥，在內則結交執政，事有切於聖躬，望罷其宗師職事，庶幾助成中興之業。”故有是命。仍令刑部檢會宗室戚里不得出謁接見賓客條法，申嚴行下。
癸巳，岳飛賜死於大理寺。 飛既屬獄，何鑄以中執法與大理卿週三畏同鞫之。飛久不伏，因不食，求死，
命其子閤門祗候雷視之。至是万俟禼入台月餘，獄遂上。及聚斷，大理寺丞李若樸、何彥猷言飛不應死，眾不從。於是飛以眾證，坐嘗自言己與太祖以三十歲除節度使， 為指斥乘輿，情理切害，及敵侵淮西，前後受親札十三次，不即策應，為擁兵逗留， 當斬；閬州觀察使、御前前軍統制權副都統制張憲，坐收飛、雲書，謀以襄陽叛， 當絞；飛長子左武大夫、忠州防禦使、提舉醴泉觀雲，坐與憲書，稱“可與得心腹兵官商議”，為傳報朝廷機密事，當追一官，罰金。詔飛賜死，命領殿前都指揮使職事楊沂中蒞其刑，誅憲、雲於都市。參議官、直祕閣於鵬，除名，送萬安軍，右朝散郎孫革，送潯州，並編管；仍籍其貲，流家屬於嶺南。
