1956年，张国焘注意到国内形势已经宽松，萌生回大陆的想法，他托友人向中央请示，得到的回复是，回大陆可以，但必须在报纸上公开承认错误。张国焘仍然丢不下面子，此事只好作罢。
此间，张国焘一家一直挣扎在贫困线上，直到1961 年，美国堪萨斯大学约请张国焘撰写回忆录，每月支付2000 港币作为稿酬，才解决了张国焘生计上的难题。张国焘经过四处搜集资料和努力回忆，历时4 年，写下《我的回忆》共3 册100 万字。杨子烈也写下一部《往事如烟》，后改名为《张国焘夫人回忆录》。此后，张国焘夫妇基本靠这两本书的版税维持生计。
1966 年，大陆上开始的一场史无前例的运动———“文化大革命”波及到香港，令身负“叛徒”罪名的张国焘甚为恐慌。此时张国焘已在香港居住了近20 年，已经习惯了香港的生活。香港毕竟与大陆水陆相连，已经成为张国焘心目中的故乡。
然而，为了自己和家人免受灾难，1968 年，71 岁高龄的张国焘与妻子杨子烈不得不告别故土，远赴加拿大多伦多，从此开始了漂泊异国他乡的生活。