我全家十余口人，流浪乞讨，全无任何顾及，四十余年如一日，这也不是什么伪装得了的。能不能举出任何事实一面铺张浪费，另一面又伪装朴素……”尽管这些难于忍受的“恶名”折磨着他，彭德怀最忧虑的仍然是大局。他在《看法》中写道：“八届八中全会应当实事求是，总结经验，而实际却不这样做” ，“把人们引到避开现实去算旧帐，这样做的结果，是不利于党和人民事业的。”反右的结果“势必出现一个少慢差费的大马鞍形，真使人痛心！”
他提笔在《决议》文件上写下一个批语：“宁‘左’勿右，再来一个宁‘左’勿右，将要出现一个十分严重的局面！”然而，没有谁能听到这充满焦灼的呼声。
“你是管军事的，为什么要去管经济的事呢？”浦安修这样埋怨他。
如果不去谈经济问题，不就不会被打成“反党集团”了吗？这是亲人无可奈何、追悔莫及的怨叹。但是他打了一辈子仗，舍死忘生，为的是什么呢？不就是为了使中国人民以至全人类获得政治上和经济上的解放么？1953年他从朝鲜回国，毛泽东要他担任国防部长，他诚心诚意地推辞，希望仍去西北搞建设。毛泽东没有同意。1959年4月，彭德怀再次向毛泽东表示他希望卸去军职去搞建设，毛泽东有些误解，不悦地说： “给你个副总理兼国防部长还不够吗？”他不好多说，接受了毛泽东的任命。
彭德怀是农民的儿子——他始终记住这一点。在1957年7月22日平江起义29周年举行的红三军团历史座谈会上，他曾说：“对于我，写上这样几句就行了：”他是一个勇敢的农民的儿子，时代和生活把他推上了职业革命家的生涯，他常说自己要做人民的答帚 ——人民需要你做什么就做什么，但他内心深处对土地的眷恋，却不时隐隐地浮上来，和妻子闲谈中常常半开玩笑地说要“解甲归田‘”。1956年，以曾开垦南泥湾闻名的王震将军被调往农垦部当部长。彭德怀笑着对王震说：“我则开三亩之荒，于愿足矣！王胡子，你的雄心比我大。”现在，他确实解甲了，何时归田呢？他己经提出了这个要求，毛泽东没有应允他，于是，学习反省之余，他就在吴家花园的小片土地上耕耘起来。
随彭德怀住进吴家花园的，有跟随他多年的警卫参谋景希珍、秘书景魁英、司机赵凤池、锅炉工张来礼。这些人被告知仍留在彭德怀身边工作，但要“划清思想界线”。园内还住有一个警卫排，其任务是保卫加看守。
彭德怀似应在吴家花园闭门思过，因为他每迈出挂甲屯20号那个大门，警卫排就要向中南海作报告。从入城以来，领导人和住宅四周的群众保持密切联系的环境不存在了，领导人之间的交往也少了，彭德怀总感到不自在。但现在，他走出吴家花园大门，发现自己又能回到群众中去，特别是他熟悉的农民中间去。他在挂甲屯到处走，和村里人亲切地打招呼，谁要带着好奇的眼光望着他，他就自我介绍：“我叫彭德怀，犯了错误。”开始，左邻右舍还把他当大干部、大首长，彭德怀进屋上炕，聊得很随便。后来，孩子上前叫彭爷爷，大人就叫他老彭，和他无话不谈。一天，彭德怀来到社员季秀兰家，季指着门前的一片地说，这是生产队1958年的试验田，把好好的十几亩稻子弄在一起，上面放了鸡蛋也掉不下去，冒充亩产万斤。彭德怀气得直摇头：“净胡闹！”
彭德怀在园内开荒种地，原为了自食其力，减轻人民负担。季秀兰的话使他想起也要种一块试验田。他收集报纸上介绍的增产措施；在园内小河边开出一块地，保证浇灌；封了自己有抽水设备的厕所积攒粪尿；土地深翻，施足底肥；又找来良种密播，精心管理。麦子抽穗之后，他清早起身就去赶麻雀，还扎了两个草人竖在地中心。麦子熟了，他到村里邀来一位老农，老农十分惊讶地说：“老彭，你当元帅，还种得这样好的麦子哟！我们庄稼人也比不上呢。”彭德怀请老农估产，老农搓了根麦穗在掌心一数：“嘿！你这一分地能打90斤。”
麦子黄了，彭德怀和工作人员一起，精收细打，一分地，正好90斤麦。彭德怀并不为他的丰收庆贺，他紧整一双浓眉计算，集体大面积种植要达到他这一分试验田的标准必定很少，即使如此，一亩也不过打900斤，一亩地按两季收成，充其量不过2000斤。
对于那些高产的“神话”，现在他更有理由不相信了。
1960年，由于人祸加天灾，全国工农业生产陷入严重困境。粮棉油大减产，原材料缺乏，许多建设项目被迫下马，农村发生大面积饥荒。安徽、河南、甘肃等省发生了饿死人的惨剧。“大跃进”和“反右倾”的灾难后果，终于使毛泽东改变方针和态度。1960年 11月，中共中央发出了关于人民公社当前政策的紧急指示信（简称《十二条》）。《十二条》的主要精神是纠正“左”的错误，强调人民公社当前应以“三级（公社、大队、生产队）所有，队（生产队）为基础”为根本制度，坚决制止“一平二调”（指实行贫富队拉平分配和无偿调用生产队的财产）的共产风。1961年1 月，中共中央举行八届九中全会，正式批准了周恩来、李富春提出的对1961年国民经济实行“调整、巩固、充实、提高”的八字方针。彭德怀从挂甲屯社员口中听到了《十二条》的精神，和身边工作人员谈起来十分兴奋。但不知什么缘故，他没有收到这个文件。一天，他发现挂甲屯的墙报上贴出了《十二条》全文，就站在那里一字一字地抄下来，仔细研究之后，写了一篇《读中共中央紧急指示信的笔记》。笔记写道：
“读了这个紧急指示后，感到基本上是好的，特别是重申纠正‘一平二调，共产风，退还农民自留地和房屋。这些具体措施，对于团结农民厂恢复生产，巩固集体所有制，都会起到一定的作用，使我内心感到高兴。”
但是，彭德怀还有不满意之处，写道：“紧急指示中，还没有提出停办公共食堂，而且还在强调公共食堂。因此，这个错误还不能得到纠正。”
他认为：“现在的公共食堂制，是在所谓‘吃饭不要钱’的幻想上产生的，是潜存着共产主义庸俗化的观点，是超脱现阶段生产力的分配形式。”“如不立即停办……农民的生产积极性是调动不起来的，并将继续遭到一些不必要的破坏。”
他认为：对1958年以来由于急躁冒进所造成的国民经济比例失调，浮夸风气，强迫命令，严重脱离群众等错误局面，“紧急指示只是认识和纠正错误的开始”。
强烈的责任感使彭德怀想把这些意见向中央和毛泽东提出，帮助中央进一步纠正错误，减少损失。但他十分清楚，没有可能，他只能写下自己的这种苦闷心情：
“作为一个共产党员的我来说，应该把上述看法，诚恳地向党中央提出，不应该隐瞒自己的观点。但是鉴于庐山会议、八届八中全会对我作出完全离开实际情况的决议，事实上，不仅已经革除继续工作，而且正在进行从历史上消灭我这个人的形象。如果现在提出自己的看法不会起到任何作用，反而可能引起不必要的误会，对实际工作是会毫无益处的。”
不久以后，1961年3月，中央制定了《农村人民公社工作条例（草案）》（简称《农业六十条》），进一步纠正了一些过左的政策；5月份，又对条例进行了修改，停办了公共食堂。形势一步步好转，彭德怀的心情也随之好转。但吴家花园的围墙使他难以忍受。党校教员来询问他的学习情况，他伸着脖子，大声说：“我现在一点用处没有了！我现在成了造粪机，我不能老呆着！我还得工作！我不能脱离实际只读书本！”声音充满了压抑和痛苦。
“八字方针”和《农业六十条》的制订使彭德怀认为，他和毛泽东之间的分歧，已因实践而得到解决。1961年9月19日，他提笔给毛泽东写了一封信，要求到农村做调查研究，请求中央允许他“先去湖南故乡搞三个月，了解农村情况；冬天，回北京住一段时间；明年春天再去太行一带。”他眷注着故土，要亲眼看看家乡群众的生活情况；他想念太行山，那里有和八路军一起度过敌后抗战岁月的老乡亲。
毛泽东会给他什么样的答复呢？半个月过去了，彭德怀焦急不安地等待着。
10月5日，杨尚昆从电话中传来毛泽东的指示：“彭德怀到哪里去都可以，半年也行。”
彭德怀喜出望外。当天晚饭后，即驱车到中南海万字廊杨尚昆家中，送去一份调查提纲，并请杨给他派一个秘书帮助整理材料。彭德怀在给毛泽东的信中曾要求，如允许他外出调查，行前希望能见见毛泽东的面。这时，彭德怀再问杨尚昆：“我走前能见见主席吗？”杨答：“毛主席让我转告你，回来再谈。”中央办公厅秘书金石被派随彭德怀去湖南。金石很紧张，有些不想干。杨尚昆对金石说，彭德怀还是政治局委员，你还是要尊重他，不要紧张。
1961年10月30日，彭德怀和临时秘书金石、警卫参谋景希珍、司机赵凤池、卫生员吕少俊一行5人从北京出发去长沙。11月1日，湖南省委书记出面接待并向彭德怀报告工作——自然是有分寸的。
11月2日，彭德怀抵湘潭，地委书记华国锋看望了彭德怀。11月3日上午，彭德怀乘车直驶乌石大队为民生产队彭家围子。
这座白灰土墙，青瓦屋顶，有8间住屋，1间堂屋，厨房、天井、牛栏、猪圈俱全的庄稼宅院，是 1928 年盖成的。彭德怀真正的故居，是几间破旧的茅屋，已经拆掉，新房就盖在旧房址上。经历了34年的风雨，彭德怀这是第二次在这里住宿。第一次是在1958年 12月，他第一次还乡调查之时。
尽管保密，乌石的群众早就在盼望着彭德怀了。有的猜，这次他怕是下放回家生产了；有的又传说，是到湖南来当省长；有的说，彭德怀己复职了。众说纷纭。
11月3日近午时分，彭德怀车到彭家围子，消息不胫而走。一会儿，堂屋里、地坪上就站满了人，男女老幼，叫彭元帅的、叫彭部长的、叫伯伯的、叫舅舅的、叫阿公的。彭德怀满面笑容和大家一一打招呼，从中午到傍晚就来了100多人。
此后，彭家围子每天从一清早就有人来访，直到晚上。先是近处的、本公社的，然后附近公社的也来了；紧接着，方圆百里内、邻近各县的人络绎前来，远到长沙也有人闻讯而至。离彭家围子20多里地的石潭镇上住满了人。
从11月3日下午至15日，彭德怀除在大队内活动两天外，其余时间都只能留在家中接待来访的群众。据金石当时的统计，来访者累计约2000人次。
许多人长途跋涉，饿着肚子；有的人久坐交谈，舍不得走；有的人冒雨而来，脚下泥泞，身上透湿。地方上没有料到罢了官的彭德怀具有这样大的吸引力，连忙派人四出劝阻，让还在途中的来访者回去。
近2000人次的来访，除亲戚、故旧、邻里、本社社员、基层干部，还有县区的干部、工人、学生、教师。有的人见面问：“你老人家平反了么？”“你回来住好久呵？”“你还走不走呀？”人们都知道彭德怀1958年12月回家过后，为老百姓说了话，所以“犯了错误”，对他表示真诚的感谢和同情。
最动情的，是1958年曾经无所顾忌地向他反映了大跃进中许多问题的那些儿时伙伴。胡四老馆走到里屋，眼泪汪汪，拽着彭德怀的青布棉袄说：“都怪我们前年不该和你说那些话，把你给连累了，对不住你咯！”彭德怀安慰这位当年最要好的伙伴胡月恒说：“你们讲真话冒（没）得错！只要群众生活好，我犯错误不要紧。”彭家围子堂屋里天天坐满了人，彭德怀一张口说话，大家就静静地、聚精会神地听。有时，彭德怀打趣地说：“我是个犯错误的人，你们不怕我放毒吗？”憨厚的人们报以信任的笑声。大家你一句我一句，有反映减产的，有反映“五风”问题的。彭德怀说：“是呵，那时‘五风，刮得太大，谁能顶得住呢？”
这次彭德怀还乡，跟随他的秘书金石向中央报告说，他的言行是很谨慎的，态度也很谦虚。可彭大将军面对着这样的故乡人民，仍然憋不住要讲讲心里话，他用食指指着自己的鼻子说：“我想出来顶一下，都冒顶住哩！”
有些干部因顶“五风”挨了斗；有的社员在刮五风时又挨了某些干部的打骂；有些社员被拆了房，砸了锅，至今无房安身，无锅煮饭，都来彭家围子诉说。从1958年到1960年各生产队粮食产量、口粮分配的实情，也都一五一十地给彭德怀说了。你言我语，倾心交谈，累得彭德怀嘴唇干裂，声音嘶哑。遇上生活特别困难的，他忍不住还从自己口袋里掏出5元、10元或20元、30元，塞在对方手里。
10月8日，碧泉公社新开大队红星生产队4个妇女来见彭德怀，说她们生产队原定基本口粮是300 斤，现因减产只给148斤，从8月10日至今已吃去75斤，下余要到明年2月份才发给。4个女人愁苦着脸问：“彭元帅，你看看么，这会饿死人去！”彭德怀让金石马上去查访，那里确有10—20％的人家已经接不上顿了。夜深，来人散尽，屋里只剩下彭德怀和几个工作人员。彭德怀一会儿坐下，一会儿站起。几天来，他一直极力控制着自己的感情。现在终于忍耐不住了，咆哮起来：
“北京净听这样好，那样好，有人就是当官做老爷，不下来听听！”“现在有人吃不上饭啦！我们对得住群众吗？”“有人还是报喜不报忧，我回去要报告中央，我不怕！”
20年后，金石回忆起这个乌石之夜说，这是他随彭德怀回乡调查中，“唯一一次看到彭老总大发脾气。”“一次好大的火哟！”几天后，彭德怀自己到乌石公社黄卜大队访问，走到一个姓贺的社员家，锅里煮的是糠糊糊。贺的堂客（妻子）请彭德怀尝，彭德怀让同去的景希珍也尝一口。景希珍回去后