1956年,张国焘注意到国内形势已经宽松,萌生回大陆的想法,他托友人向中央请示,得到的回复是,回大陆可以,但必须在报纸上公开承认错误。张国焘仍然丢不下面子,此事只好作罢。
此间,张国焘一家一直挣扎在贫困线上,直到1961 年,美国堪萨斯大学约请张国焘撰写回忆录,每月支付2000 港币作为稿酬,才解决了张国焘生计上的难题。张国焘经过四处搜集资料和努力回忆,历时4 年,写下《我的回忆》共3 册100 万字。杨子烈也写下一部《往事如烟》,后改名为《张国焘夫人回忆录》。此后,张国焘夫妇基本靠这两本书的版税维持生计。
1966 年,大陆上开始的一场史无前例的运动———“文化大革命”波及到香港,令身负“叛徒”罪名的张国焘甚为恐慌。此时张国焘已在香港居住了近20 年,已经习惯了香港的生活。香港毕竟与大陆水陆相连,已经成为张国焘心目中的故乡。
然而,为了自己和家人免受灾难,1968 年,71 岁高龄的张国焘与妻子杨子烈不得不告别故土,远赴加拿大多伦多,从此开始了漂泊异国他乡的生活。