1964年10月，赫鲁晓夫被他的同事在一次政变中赶下台之后，毛泽东就对那些没有对他言听计从的部下感到不放心，更多地谈到培养接班人的问题，也愈加坚定地要求对他个人的完全效忠。1965年2月，毛泽东的妻子江青引发批评，说党的干部没有完全拥护毛的革命路线。毛在1966年5月中旬发动了“文化大革命”，亲自带头批判“走资本主义道路的当权派”。在毛泽东看来，“走资派”就是那些我行我素、没有完全服从他领导的人。他动员红卫兵和造反派批斗当权派，同时依靠林彪控制军队，将一大批老干部轰下台，把他们下放劳动接受再教育。

对“大跃进”的普遍不满让毛怒气冲天。例如，刘少奇在1962年的7000人大会上指责大跃进是“三分天灾，七分人祸”，这使毛泽东十分气愤。邓小平在这次会议之后继续和刘少奇一起密切工作，也让毛泽东感到不快。因此当1966年毛泽东批判刘少奇时，也把矛头指向邓小平，说他是“走资本主义道路的当权派的第二号人物”。

从1966年底开始的批判日复一日地持续了数月，报纸广播对刘邓的批判铺天盖地。刘少奇是国家主席和毛泽东指定的接班人，却得不到任何必要的治疗，与家人天各一方，在软禁中死于开封；他的妻子也被关进了监狱。

1967年，邓小平夫妻被软禁在中南海（紧邻天安门，是党的高层领导生活和办公的地方）的家中。子女被赶走以后，他们便同外界失去了联系，两年间不知孩子们的下落。他们把时间用于读报、看书和听广播，每天打扫门前的道路。他们的处境比很多挨批判的干部要好得多；在中南海里，他们得以免受红卫兵的批斗，并被允许保留自己的厨师和一名警卫，还能够用节余的工资购买生活必需品。毛泽东既要给邓小平一点教训，也为日后重新起用他留了余地。

邓小平的子女并没有得到同样的保护。他们受到红卫兵的批斗，被迫交代父亲的罪行。大女儿邓林在艺术学院受到批斗，在北京大学念物理的长子邓朴方也在校内受到迫害。1967年，两个年龄较小的孩子邓榕和邓质方（和邓小平的继母夏伯根一起）被赶到北京拥挤的工人宿舍，不许和父母见面。红卫兵经常不事先通知就闯入家门，强迫他们低头弯腰站着，搜查有关其父罪行的材料，向他们大声呵斥，在他们的墙上贴大字报，有时还摔东西。后来，三姐妹和邓质方都被下放农村参加劳动。

1968年，成立了一个调查邓小平“罪行”的“专案组”。他们向认识邓小平的人提问，调查他脱离红七军、与被毛泽东批判的彭德怀继续保持良好关系等罪行。作为调查的一部分，邓小平写了一份自己8岁以后的履历，一一罗列出他的全部个人交往。幸运的是，他早就养成了不留任何字迹的习惯，而他的工作也从未使他与国民党官员有密切接触。在1969年党的第九次代表大会上，江青要求把邓小平开除出党，被毛泽东拒绝。毛继续保护邓小平，以防他受到激进派（radicals）的攻击。

1969年第一次中苏边境冲突后，10月毛泽东发出指示，要把一些高级干部疏散到地方去，以便苏联一旦入侵时他们可以在当地组织抵抗。朱德和董必武被派往广东，叶剑英去了湖南，聂荣臻和陈毅去了河南；陈云、王震和邓小平分别去了江西的不同地方。事实上，他们下放农村后，并没有在组织地方做好抵抗准备中发挥任何作用。一些敏锐的北京观察家认为，是林彪害怕潜在的对手，而以苏联进攻的危险为借口说服了毛泽东，把有可能威胁到其权力的北京高干流放到外地。确实，1971年林彪坠机身亡后，这些领导人纷纷获准从地方返回北京。

邓小平在去江西时已经深信，中国的问题不仅来自毛的错误，而且因为中国的体制有着深层缺陷，是它造就了毛泽东，导致了“大跃进”和“文革”的灾难。1949年中共掌权时，作为革命家的邓小平成了建设者，致力于建设新政权和社会主义制度。当他动身去江西时，他已经开始思考中国需要进行哪些改革。此时，他已经在最高层积累了有关党政军各方面工作的不同寻常的深厚经验，熟知所有重大的内政外交问题，这构成了他反思中国如何进行改革的基础。