張國燾投靠國民黨之後，蔣介石對他寄予了很大的希望。蔣介石曾派陳立夫同張國燾談話，問他願意做些什麼工作？
張國燾表示希望由他出面創辦一種定期的民辦刊物，從思想理論上揭發共產主義不適合於中國，喚醒一般青年人的幻覺，使其迷途知返。唯缺乏資金，希望政府給以接濟，並高度保密，否則非失敗不可。
對於張國燾的這一想法，蔣介石因另有打算，沒有同意。這時，國民黨的一些特務組織也對張國燾頗感興趣，希望能從張國燾的口中得到有關中共和八路軍、新四軍的情報以及中共地下黨組織的線索。
CC系陳立夫、陳果夫很想讓張國燾去工作，軍事委員會政治部也説需要這樣的人，胡宗南、康澤等也向蔣介石請求，讓張國燾到他們那裏工作。但是，蔣介石對於這些部門的請求，都沒有答應。
到重慶以後，蔣介石給張國燾的工作做出了安排。蔣介石在接見張國燾時，指着站在身旁的戴笠，很客氣地説：我想請張先生給他幫幫忙。
就這樣，張國燾正式參與了國民黨特務組織“軍統”的工作。蔣介石還委任張國燾為軍事委員會中將委員，但這只是一個空頭銜。
張國燾到軍統後，受到戴笠的重視。他主持所謂“特種政治問題研究室”，擔任研究室的少將主任。為國民黨特務組織策反中共人員出謀劃策。他還主辦所謂“特種政治工作人員訓練班”，為國民黨訓練特務，專門從事反共的特務活動。
曾任軍統總務處長的沈醉後來回憶説：戴最初對張國燾寄予極大的希望，滿以為只要張肯賣一點氣力，便可以把共產黨搞垮。
張國燾説要辦一個訓練班，由他來培訓一批專門人員，戴笠馬上挑選各訓練班畢業學生中最優秀分子送去給他訓練。
他説要在陝甘寧邊區設立一些策反站，戴笠馬上照他計劃辦理。真是要人給人，要錢給錢。這時張國燾不僅是戴笠宴客時座上最受歡迎的佳賓，也是戴笠引為最得意的部屬。
他每次請客準備邀張國燾去參加時，往往先告訴他的朋友，並且用很驕傲的口吻先向朋友們介紹説：“明天你來吃飯時，便可以看到共產黨裏面坐第三把交椅的人物了。”
張國燾雖然為軍統培養訓練了一大批專門對付共產黨和邊區的特務，但是能夠派出去的並不多。
沈醉在談到這一情況時説：“這個訓練班的學生雖經戴笠親自挑選，又由張國燾親自主持訓練半年，但訓練期滿後，經過張等考核，認為適合派往邊區打進延安的還是不多，具體數目我不清楚。聽説經過挑選，只有極少數的人派往張所領導的幾個‘策反站’去工作，其餘大多數派在蔣管區內的一些重要兵工廠擔任‘防共’工作。”
即便是少數經過嚴格挑選出來的特務，派出去後也收效甚微。既打不進去，也拉不出來。戴笠想在延安設立一個延安站或延安直屬組，張國燾用盡了一切辦法，始終沒有搞成。
張國燾派人手持戴笠的信件，到太行山區請第二十七軍軍長範漢傑幫助進入八路軍第一二九師防區活動，結果不僅沒有效果，反而連去的人也沒有回來。
最後只能在國民黨統治區的漢中設立一個特別偵察站，在榆林設立一個陝北站，在洛川設立一個延安站，並且沒有多少作用。由於訓練班的作用不大，使戴笠感到失望，所以只辦了兩期便停辦了。
張國燾在軍統期間，還接應過個別的共產黨的叛徒。1939年，原紅四方面軍第九軍軍長何畏叛變。在張國燾叛黨之前，何畏緊跟張國燾，犯過嚴重錯誤。
張國燾叛逃後，何畏步他的後塵，投奔國民黨，被國民黨特務機關扣押。在被扣押期間，何畏致函張國燾求救。
張國燾拿着何畏的求救函去找戴笠，乞求戴笠將何畏接到重慶來共商反共大計。戴笠雖表示同意，但仍拖了半年之久才將何畏釋放。何畏見到張國燾後，也做起了國民黨的特務。
張國燾還現身説法，勸説一些被捕的共產黨員自首叛變，但常常不能如願。沈醉曾回憶説，我親自聽到張國燾勸説過一位1942年在重慶南岸祕密逮捕到的地下黨員。張國燾一開始就作自我介紹，使得對方為之一驚。
接着他就用連他那樣有很高地位的“老黨員”都不再當共產黨而願投向國民黨等等一套無恥讕言，要求對方考慮。
但很出人意外，那位地下黨員用很堅決的口吻回答説：“我不能這樣做，死又有什麼可怕！”張國燾最後也只好老着臉皮説什麼“我是為了你好，你再仔細考慮考慮”。然後，他灰溜溜地走開。
張國燾的工作不見成績，不禁使戴笠大為惱火。他有一次説：“校長(指蔣介石)對張來投靠，以為對延安是致命的打擊，交我運用。幾年來，大失所望，使我對校長難以交差。”這樣，張國燾在軍統的日子越來越不好過了。
失寵後的張國燾已沒有往日的威風，有時出門辦事也不得不坐起了公共汽車。在重慶期間，張國燾還通過同鄉甘家馨的關係，認識了國民黨中央組織部部長朱家驊。
經朱家驊推薦，張國燾被聘為“對共鬥爭設計委員會”的中將設計委員兼主任祕書。張國燾無功受封，引起特務們的嫉妒和不滿。張國燾在這裏仍是沒有太多的事可幹，他曾無可奈何地感歎：我“無計可設，無公可辦，每日去坐一二小時，頗感無聊”。
有一次，朱家驊要張國燾轉交給此時掙扎於貧病交加之中的陳獨秀一張5000元的支票。對於這筆在當時是數目相當可觀的款子，陳獨秀拒絕接受，託人退還給了張國燾。對此，張國燾也無可奈何。
1945年5月，在國民黨第六次全國代表大會上，張國燾被選為國民黨中央執行委員會委員。8月，在日本投降前夕，蔣介石召見張國燾，讓他草擬一個管理全國糧食和一般物價的方案。
張國燾到處蒐集材料，連熬幾夜，寫出一份洋洋萬言的方案。送給蔣介石後，就沒有下文了。
1946年3月，戴笠乘坐的飛機撞在南京附近的江寧縣板橋鎮戴山，機毀人亡，軍統也準備改組裁員。不久，軍統改為國防部保密局，張國燾也趁機另謀出路。
他通過同鄉、時任國民黨中央設計局局長的熊式輝，向國民政府行政院善後救濟總署署長蔣廷黻推薦，當上了善後救濟總署江西分署署長和江西省臨時參議會參議員。
張國燾一上任，就受到了江西省主席王陵基的排擠。原來，當年張國燾率紅四方面軍入川時，曾與田頌堯、王陵基交戰川北。田、王損失慘重，大敗而逃。王陵基因此被劉湘撤職，拘禁數月。
如今，張國燾雖然脱離了共產黨，但王陵基舊恨難消。於是，他讓部下對張國燾冷嘲熱諷，蓄意刁難。不久，張國燾不得不離開江西，避居上海。、
1948年6月，不甘寂寞的張國燾籌集了約一百二十兩黃金的經費，在上海施高德路辦起了一個創進週刊社，出版《創進》週刊。這個週刊社的成員是臨時湊起來的，總編輯是鄭學稼。
開始，《創進》週刊並沒有受到國民黨的重視，所用紙張都是以市價購進。按照國民黨中央宣傳部的規定，凡從事反共宣傳的報紙雜誌，按月分配官價紙張。後來，張國燾託人向國民黨中央宣傳部部長黃少谷説情，《創進》週刊社才得以配給官價紙張。
《創進》在代發刊詞中，以貌似公正的面目出現，標榜自己是講“老實話”的，但在實際上，它不過是為國民黨捧場和進行反共宣傳的工具。
但是，戰局的發展卻不像《創進》週刊的文章所説的那樣，經過遼瀋、淮海、平津三大戰役，人民解放軍基本上消滅了國民黨軍隊的主力，國民黨的統治大勢已去。
在這種形勢下，國民黨的許多高級官員紛紛逃往台灣。張國燾也驚恐不安，考慮自己的退路。這時，蔣介石指示國防部保密局局長毛人鳳，要儘可能不讓中共叛徒去台灣，要勸他們留下。
原因是共產黨勝利了，中共叛徒決不會再死心塌地跟着國民黨走，讓他們去台灣，只能增加負擔。蔣介石還特別指示毛人鳳，讓他勸説張國燾留下。
張國燾沒有聽從毛人鳳的勸説。他把《創進》週刊停刊，於1948年11月攜全家去了台灣。他當時或許沒有想到，他這一去，就再也沒有回來。
