反贪污运动被称为“打老虎”。大老虎即指大贪污犯。这个运动对黄克诚来说，比镇反还要难于开展。
镇反的对象是反革命，难在开杀戒这个政策问题上。中央下了决心就好办了。“三反”则是在内部清除贪污分子，一是难于找准对象；二是难于下手打击自己的同志。
“三反”运动，中央决心很大，为了避免下面走过场、敷衍了事，一方面惩治贪污从严，枪毙了两个地级党员干部刘青山、张子善以作示范；另一方面下达了数字指标，以便督促各地，认真查找，进行斗争，把贪污腐败分子挖出来。
对于中央的指示，湖南试行了几天以后黄克诚就感到有问题。
镇反是敌我矛盾，目标明确，根据情况可以估计一个大约数字。在国家和党内“打老虎”，目标和数字都不易搞清楚，采用限定数字的办法，会使一些单位，一些群众，为了完成任务而硬找对象，为了完成任务，而搞变相的逼供信。这样就会扩大化，搞出冤、假、错案。
于是，黄克诚召开省委会研究，决定县里不搞三反，以免控制不了，搞出许多错误来。县里和区、乡不搞运动，基层就稳定了。基层稳定，大面上就不乱了。“三反”只有上层搞，省委比较容易控制。
陈钧，省工业厅副厅长。
黄克诚一向认为，陈钧为人正派，是个好同志，可是，在“三反”运动中，他被告发为贪污分子，省委决定他离职审查。审查结果证明，告发不实，完全是个冤案，陈钧虽在查清后，宣告无罪，但一经离职审查，他就难于回原单位工作了。对此，黄克诚深感歉疚。
当时，黄克诚正奉命调离湖南，行前匆匆，没有顾得上向陈钧当面赔礼道歉。
三十多年后，在提到此事时，黄克诚曾经自责说：陈钧不能回原单位工作，完全由于我们失于慎重，行动轻率的过失。我是书记，首先负这责任，理当面见陈钧，认错、道歉。此事未办，心中很是不安。到北京后，我曾就此事向中央组织部长安子文说及：过失在我，希望中组部在给陈钧分配工作时，照正常调动处理，将弄错了的所谓贪污问题，不存档案，不留痕迹，以免影响到他的将来。
黄克诚就是这样一个勇于自责的人，一个善于改过的人！1952年8月。
北上的列车上。
黄克诚坐在车窗边，透过车窗，黄克诚看到铁道两旁的田野里，正翻滚着喜人的麦浪。他那饱经沧桑的脸上，不禁露出了欣慰的笑容，嘴里喃喃地自言自语道：“真是一派丰收的景象啊！”
此次北上，乃是黄克诚奉中央调令，离湘赴京工作。三年前，黄克诚回到湖南，回到自己的家乡，从国民党统治者的手中，接过了这个满目疮痍、百废待兴的烂摊子。三年之中，黄克诚兢兢业业，不辞劳苦地工作，稳定物价、湘西剿匪、镇压反革命、“三反”、“五反”、土地改革、工业建设等等一系列繁重的任务，都在黄克诚的努力下顺利地完成了。
三年里，湖南的生产事业得到了很大的恢复和发展。统计资料表明：湖南省工农业总产值1950年为二十三亿多元（按现行人民币算），1951年即达到二十七亿多元，一年就约增加了百分之十八。农村的大宗经济作物，如棉花，1950年为一万一千吨，1951年增加到三万吨，增加了百分之一百六十八点八，农业的增产，搞活了农村，也搞好了城市。
黄克诚在湘三年，把一个百废待兴的烂摊子变成了百业俱兴的新局面。
当中央调黄克诚回京工作时，他很有点恋恋不舍。黄克诚到京之后，于10月奉令担任中国人民解放军第三副总参谋长和总后勤部长兼政委。
黄克诚先到总后工作。
那是一个铺开不久的大摊子。除抗美援朝的战勤工作仍需继续进行外，已面对着统一全军后勤的重担。每天都有许许多多急待解决的问题潮涌而来，应接不暇。
原来的总后负责人是杨立三同志，他那时最繁重的任务就是战勤。抗美援朝虽有整个东北地区的支援，总后的任务仍极繁重。
黄克诚到总后时，朝鲜战争已近尾声，但全面组织建设全军后勤工作的任务己迫在眉睫。黄克诚看到工作那么忙乱，就和杨立三及其他领导成员研究，要迅速改变这种状况。
会上，黄克诚声音洪亮他说：“我一向认为，领导任何工作，都必须掌握主动，决不能被工作推着走，搞成被动应付的局面。无论事情有多么杂乱、困难，我们都要把局面迅速打开，我们应当有这个自信。”随后，黄克诚就以他那一贯的作风，雷厉风行地展开了总后工作。
在具体工作中，总后有一道难题，就是修建营房的问题。
全国战争结束时，数以百万计的军队借住了许多民房，时间长了，群众有意见，军队也不方便。
建设营房成为急务，而实际上却进展缓慢，麻烦甚多。当时，我们正学习先进经验，一切建筑都要先做设计，批准预算后才能动。在当时，设计是个新事物，得请工程技术人员来做，又没有一定标准，这就差异甚大，不好平衡。预算要列举大大小小各项建筑材料、设备、工价等等，很难审查。审查没有力量，不审又是失职；不批下面要骂，批了大家又吵不公平，本来好办的事，弄得非常难办，下面不满，上面头痛。
黄克诚在了解了情况后，认为：建设营房和农村建设民房，并无很大区别，没有很特殊的技术要求。农民盖房都是自己动手，请个有经验的师傅指导就行，我军战士多是农民出身，又是年轻力壮，又有组织领导，条件优越，何不自力更生？
于是，黄克诚提出了“包干”的办法，得到军委同意就实行下去。包干的办法是按不同情况，规定营房每平方米造价，提倡自烧砖瓦、自出人工。
造价包干后，超过不补，节余归己。
这样一办，问题就简单了。部队自力更生造营房的积极性很高，盖得又快又好又节省。军队住迸营房，退还民房，群众也感到高兴和方便多了。
黄克诚在总后工作了没有几个月，大约在1952年12月，聂荣臻代总长要黄克诚到总参去上班，帮助处理日常工作。于是，黄奉命前去，但那时仍兼总后的工作。
到1953年，黄克诚把总后的实际工作交给了洪学智，黄克诚向中央作了总后工作的报告，正式结束了他在总后的工作。此后，黄克诚便把全部力量放在了军委、总参的日常工作上去了。
1952年底，彭德怀住处。
朱德、彭德怀、聂荣臻、粟裕、陈赓、肖华、肖克、肖向荣、赖传珠、徐立清、杨立三以及刚到总参工作的黄克诚，一起开会，主要内容是研究军队的改革和建设工作。此后，这个会就形成常会，开过多次，当时也被称为军委会，因为它实际上是做这个工作的，再向上就是报中央、毛主席批示了。
但是，它并不是中央任命的军委会，只是个适应急需的工作组织。
1953年7月，朝鲜战争结束，彭德怀正式回国。
1954年9月，全国人大任命彭德怀为国务院副总理兼国防部长，聂荣臻离开了总参。粟裕任总参谋长。黄克诚被任命为国防部副部长，仍兼副总长，负责军委。总参的日常工作。当时，军委和总参是一个办公厅，还没有以后那样详细的分工。
1954年11月，中央正式任命以毛泽东、邓小平和后来受衔的十位元帅，共十二人组成军委会，毛泽东为军委主席。
随后，毛泽东召开了第一次军委会议，正式把军队工作交给彭德怀主持，彭德怀成了常务副主席，重大问题则由军委开会决定，报中央及主席批示。
黄克诚虽然不是军委委员，但因工作需要，实际上早就担任了秘书长的职责，帮助彭德怀做日常工作，成为彭德怀抓军事的主要助手。
1958年6月，毛泽东在军委扩大会议讲话时曾说过：“我四年未管军事，一切推给彭德怀同志……不是军事工作都搞坏了，基本上搞得好……讲责任，第一是我，第二是彭德怀，第三是黄老，因为他是秘书长……”
毛泽东的这番话，就是针对上述情况而言的。
处于开创时期的军委、总参，工作问题多得不得了。
那时，我们的各军、兵种都在初建，领导者都是身经百战的将军，魄力大、个性强、工作积极性非常高，都要在新岗位上作出新贡献。他们都向军委、总参、总后强调自己这个部门的重要性，争取多拨一些经费。他们要钱要物资、要外汇，争论得不可开交。这只能由军委、总参会同总后解决。这样，黄克减就成为协调各部门关系的主要人物之一。
在一次会议上，黄克诚曾经苦口婆心地劝导各部门的负责人说：“我们要顾全军队全局，只强调某个局部是不行的，平均主义的分配也是不行的。我们都是高级将领，都懂得战时不能平均使用兵力，必须从全局考虑，有主次、善配合，才能打胜仗。规在建设也一样，要全面考虑，区别缓急，先抓重点、急需的工作。比如：海军要建设舰队，当然是合理要求，但费用大、时间长，不是我们目前力所能及的，就应把它当作长期任务来考虑。海军目前重点是海防，可以先抓急需，搞那些既能加强海防、又能建设较快、费用较低的。空军在建军中是当务之急，我国因没有空防，抗美援朝时牺牲极大，建设空军队伍比海军舰队费用要少一些，而需要更急一些，所以，我们应考虑重点先建空军……”
像这样摆情况、讲道理，同时虚心倾听并吸收大家合理的意见，问题一般就比较容易解决些。
当然，也有一些高级干部坚持己见，甚至对负责这方面事务的干部大吵大闹乃至大骂。使这些干部感到很苦恼，甚至不愿干这个工作了。
对此，黄克诚耐心地劝说他们：“我们不要怕挨骂，当面骂就和他讲道理，背后骂就只当不知道。共产党员只要做的事对国家。对党有利，就要能任劳任怨，挨骂、受委屈都是光荣的。对工作要从党性原则出发，不要计较个人得失。”
为了军队的逐步现代化，我国在十分困难的情况下，很快建立了一套军事工业体系，建立了各种军事工厂，建立了国防工办，并建立了军事工业学院。
我国不但自制先进的常规武器，自制飞机舰艇，而且设立了国防科研系统，开始研究国际上先进的尖端武器。为此，军委决定建立国防科委，由聂荣臻元帅负责领导国防科委工作。
当时，我国有许多热爱祖国的、高水平的科学技术专家，为了建设新中国，不少人抛弃了国外的良好条件和优厚待遇，甘愿在祖国困难的条件下，从事国防科研工作。他们和一大批从事这方面工作的同志作出了巨大贡献，使我国在短期内就能屹立于两个超级大国之间，这方面的成就曾使世界震惊。
在这令世界震惊的伟大成就里，凝结着黄克诚的巨大心血。
共和国不会忘记人民的功臣。
1955年，我国举行了授衔、授勋仪式。
黄克诚，以他卓越的战绩和对党对人民的赤诚，被授予大将。
1955年10月，黄克诚被正式任命为军委秘书长。
1956年11月，黄克诚又被任命为军委委员。
1956年，彭德怀在党的第八次全国代表大会上作了军事报告，报告中说：“我军已实行了有计划的整编，先后集体转人生产部门的部队，有三十一个师零八个团。转业干部、复员士兵已达五百万人。目前我军员额，包括征集的新兵在内，比解放初已减少二百七十万人。我军已在原来步兵的基础上，建立了空军、海军、防空军、公安军，以及炮兵、装甲兵、工程兵、铁道兵、通讯兵、防化兵等诸军兵种……”
改革进行得不慢，但仍没有达到预定的要求，精简、整编工作继续进行。
1956年10月，军委责成黄克诚研究裁军方秦，在1957年1月的军委扩大会议上，作出裁减和整顿军队的报告。此后，1958年的军委扩大会仍把精简整编作为议题之一。这说明了精简、整编工作的繁重性和经常性。
和平时期，机构人员总有一种不断扩大的趋势，这种趋势不但导致机构臃肿，军费膨胀，而且导致官僚主义、文牍主义，使工作效率低下，办事不灵，互相推诿，无人负责。所以，精减机构、整编是个做不完的艰巨的工作。
与精简、整编密切联系的是兵役制的改革问题。
我军历来实行志愿兵制度，全国统一后，必须适应新情况而有所改变。
方法是实行义务兵役制。
实行义务兵役制，合格青年适龄入伍，定期退伍为预备役。这样，可使国家积蓄大量的受过军事和技术训练的预备役兵员，战时不愁没有补充。
中央军委决定1954年试行“义务兵役法”，取得经验。1955年，我国正式颂布“兵役法”，实行“义务兵役制”。同时，颁布了“军官服役条例”，使我军的战士与军官都有预备投人员储备，而我常备军则可保持着年青的朝气。建国初期，西方发达国家对我国敌视、封锁。
苏联为帮助我国建设，在此期间给了我们很大的支援，在各方面派了大批顾问、专家。我国早期重工业基础的建立，早期军事工业基础的建立，从设计到施工，从提供技术、设备，到指导施工及试生产，都得到他们的大力帮助。
在建军方面，苏联派了总顾问和一批专业顾问，提供了他们的经验和各种资料给我们借鉴。
当时，毛泽东主席号召学习苏联的先进经验。但对如何学习苏联经验，黄克诚还是有自己考虑的。黄克诚认为，我们不应当不考虑自己的国情和历史，决不能轻易丢掉自己的好经验、好传统。对苏联的经验，我们只能从实际出发，或采用、或不用、或修改之后再用。
这也正是毛泽东一贯的思想方针。
基于上述思想，解放军没有学习苏联的“一长制”。
1953年9月，中央军委正式确定军队的领导体制为党委领导下的首长分工负责制。
司令员和政委有分工之别，无上下之差，