8 月25日，红十五军团在陕北三原县桥底镇改编为国民革命军八路军一一五师第三四四旅，旅长徐海东，政治委员兼政治部主任黄克诚。
原第七十三师改为六八七团，七十五师改为六八八团，七十八师改为六八九团。改编后的三四四旅乘火车北上，参加了一一五师的平型关战斗，并取得
了震惊中外的平型关大捷。平型关战斗后，六八七和六八九两个团即转战于晋、冀、鲁、豫边区。歼灭大量日伪军，并且迅速地扩大了队伍。至1939年9 月，三四四旅扩编为八路军第二纵队。司令员左权（后为杨得志），政治委员黄克诚。下辖三四四旅、新编第一旅、新编第二旅、新编第三旅。
1940年5 月，奉中央军委和八路军总部的命令，黄克诚率第二纵队部分主力南下华中，增援新四军。6 月底进至淮北地区，与新四军第六支队彭雪枫部会合，并整编为八路军第四纵队，司令员彭雪枫，政治委员黄克诚。7 月，在加入另两支地方部队后，改称八路军第五纵队。
1942年1 月“皖南事变”后，为重建新四军，八路军第五纵队改编为新四军第三师。师长兼政委黄克诚，副师长张爱萍，参谋长彭雄，政治部主任吴法宪，副参谋长洪学智。下辖第七、第八、第九旅。7 月，第三师即参加了以江苏盐城为中心的反“扫荡”。9 月，三师第九旅与四师第十旅对调建制。
1942年至1944年，黄克诚率领新四军第三师先后参加了淮海区的反“扫荡”作战、盐阜区的反“扫荡”作战和高沟杨口战役等，历经大小战斗战役百余次。1945年春，抗日战争进入战略反攻阶段后，三师在师长黄克诚、参谋长洪学智的率领指挥下，一举攻克阜宁县城。9 月6 日攻克淮阴，歼敌8600余人，22日再克淮安，歼敌4600余人。
经过八年的艰苦奋斗，在抗战初期只有几千人的第三四四旅，在黄克诚、张爱萍、洪学智等领导下。已发展成为拥有三个旅、一个独立旅和三个特务团的第三师。全师共3。2 万余人。
1945年8 月15日，日本投降。抗战胜利后的国共两党面临着“战”与“和”的两种可能性。当时，在刚被苏联红军解放的东北地区，并无国民党的一兵一卒，实为一真空地带。黄克诚虽然只是新四军三师的领导人，但却具有通观全国战局的战略眼光。他认为或“战”或“和”无论哪种前途，占领东北都是至关重要的一步棋。9 月13日，刚刚得知苏联红军已全部解放东北消息的黄克诚，马上致电党中央：“建议中央立即派大部队到东北去，不管苏联红军同意与否，要下大决心进军东北”。“并派有威望的军队领导人去主持工作，迅速创造总根据地，支援关内战争”。
黄克诚的战略建议，与党中央不谋而合。为了迅速抢占东北并建立巩固的东北根据地，党中央、中央军委自8 月20日起，就先后向各中央局和各军区发出指示，要求派出组建100 个团所需要的干部及大批主力部队，陆续挺进东北。作为新四军主力之一的三师，也奉中央军委之命，在黄克诚、刘震（第一副师长）、洪学智（第二副师长兼参谋长）等人的率领下，由陆路星夜兼程赶往东北。前面已经讲过，在各路闯关东的大军中，新四军三师要算是最苦的了。
1945年9 月下旬，三师所属四个旅和三个团，分成左右两路纵队，陆续从盐阜、淮海地区出发。在跨越了江苏、山东、河北、热河四省，历时两个多月，行程3000里后，总算到达了东北锦州地区。然而，11月下旬的东北早已是寒风刺骨的雪地冰天。三师这支唯一来自南方的部队的指战员们，既没有棉鞋，棉帽和手套，而且从苏北带来的一套薄棉衣，根本无法抵御东北零下几十度的严寒。八旅及先遣人员则更惨，由于出发仓促，来不及准备，仍然身着单衣！另外部队给养也成了大问题、
新四军第三师一到东北，立刻就被东北民主自治军总司令林彪，作为主力而看中。 11 月18日，洪学智率领的三师北上先遣队到达绥中。听说林彪已带领一个骑兵排和一支山东部队前来迎接，洪学智即前往喇嘛洞与林彪接头。
听完洪学智的汇报后，林彪高兴地说：“好，你们的任务完成得很好，现在东北就是需要部队。”
1946年1 月，东北民主自治军改称为东北民主联军。第三师番号不变。黄克诚仍任师长兼政委，刘震任副师长，洪学智任副师长兼参谋长，政治部主任吴法宪。下辖第七旅（旅长彭明治，政委郭成柱）、第八旅（旅长张天云，政委李雪三）、第十旅（旅长钟伟，政委王凤梧）、独立旅（旅长兼政委吴信泉）和三个师直属特务团。全师3。7 万余人，在当时各师中也算得上是兵多将广。名曰一个师，实际上它的一个旅就快相当于人家一个师了。
1946年春，苏军从东北各大城市撤出回国。黄克诚趁集中在沈阳的国民党军一时无力去接管其他各大城市之机，立即把活动于彰武地区的十旅调到四平附近待命，相机夺取四平。3 月14日苏军一撤出四平，十旅及兄弟部队就趁势攻下四平，俘虏几千伪军，并缴获了大量武器装备。随后，黄克诚将十旅部署在开原一线，阻止国民党军北上。4 月中旬、下旬，苏军开始从长春、哈尔滨撤退，刘震即率三师八旅一部和特务团，在东满部队的配合下，于4 月18日攻下了长春，消灭国民党“铁石部队”1 万余人，缴获作战物资甚多。夺取长春后，又用火车运送特务团北上，于4 月20日攻下了齐齐哈尔，歼灭伪军数千名。
与此同时，在北满的山东部队七师和三五九旅之一部，也于4 月28日攻占了哈尔滨，歼敌近万名。三师与兄弟部队在这一阶段中连续攻城作战，共毙俘伪军近3 万人，缴获的军用物资堆积如山。使刚出关时窘困不堪的三师，彻底解决了部队的给养和装备问题。
1946年8 月，以新四军第三师机关的一部分干部人员组成西满军区。黄克诚改任西满军区司令员（政委由中共西满分局书记李富春兼任）。
9 月，三师主力被改编为东北民主联军第二纵队，刘震任司令员，吴法宪任政委兼政治部主任，吴信泉任副司令员兼参谋长。原三师的第八旅则改称第四师，师长陈金玉，政委李雪三；第十旅改称第五师，师长钟伟，政委王凤梧；独立旅改称第六师，师长兼政委吴信泉。第二纵队共计3 万余人。
而原三师的七旅则被调出，与山东部队的七师合编为第六纵队（即后来的东北野战军第四十三军，七旅亦改称第十七师）。1947年8 月，又以三师的三个特务团为骨干，加上西满军区地方部队一部，组建了东北民主联军第七纵队（即后来东北野战军第四十四军）。
如果说在东北民主联军几个纵队中，一纵排老大的话，那么在各主力纵队的所有师里，二纵第五师则为第一主力师。五师师长钟伟最能打硬仗恶仗，又最爱骂人、最能抢东西。这在东北部队中都是出了名的。
他在苏北当团长时就是如此。一次，他命令两个连分头去打日军的两个炮楼。一个炮楼很快打下来了。另一个连的连长是新调来的，不了解钟伟的脾气，指挥作战犹犹豫豫，半天也没打下来。钟伟知道后，派警卫连连长去传话：一小时后再打不下来，让他提着脑袋来见我！结果那个连长一咬牙，很快就把炮楼打了下来。1947年秋天，“东总”两辆弹药车路过郑家屯五师
的驻地。正在为部队弹药发愁的钟伟看到后，心中大喜。他立刻招手叫车停下，上去一个连就把弹药全给卸了。
总部押车的干部感到十分为难，求他：“钟师长，你让我回去怎么向上面交待呀？”
钟伟满不在乎地回答说：“我给你打个收条。都是八路，都为打国民党，还分什么你的我的！”
据五师的老人说，像这样的事情，钟伟可没少干过。因此有人说五师才是真正的“野”战军，野得很！
最能体现钟伟打仗个性的，要算是三下江南中的靠山屯战斗了。
1946年底至1947年初，是东北民主联军南满根据地最困难的时期了。
杜聿明企图首先集中东北国民党军主力，消灭位于南满的共军主力三纵和四纵，然后再回过头来围剿北满、西满的我军。为粉碎敌人“先南满后北满”
的阴谋，东北民主联军确定了“南拉北打”的战略方针。 1947 年1 月至3月，北满主力一纵、二纵和六纵，冒着零下40度的严寒，三次南过松花江，进入敌占区主动出击，有利地配合了三纵、四纵巩固南满根据地的斗争。这便是有名的“三下江南”作战。
在前两次过江作战，二纵均担负钳制敌军，策应一纵、六纵作战的任务。
二纵主力五师则作为全军之预备队，待机打援。因此二纵只有眼睁睁地看着兄弟部队大开杀戒，而自己却与立功建业无缘。直到三下江南战役，二纵才总算捞到了硬仗打。其中尤以钟伟的五师最为突出，而且一仗立威扬名。
二下江南后，我北满主力主动回撤松花江北后，国民党东北“剿总”司令杜聿明为挽回面子，令其第七十一军三个师（第八十六、第七、第八十八师）和新一军两个师（第三十、第三十八师）渡过松花江，企图与我决战，但过江的敌军发现有被我围歼的危险后，遂慌忙向南逃窜。我北满主力一纵、二纵和三纵则跟踪追击，于3 月8 日开始了三下江南战役。
东总司令林彪给二纵五师的任务是，进至长春路东，配合一纵包围消灭位于大房身的敌人一个团。3 月9 日，五师到达靠山屯西南。他们白天睡觉，夜晚行军。黄昏起来正准备赶路时，就听见西南方向的姜家屯和王奎店那边乱哄哄的，像是有情况。钟伟派人去侦察，果然是驻有敌人的两个营。他当即拍板，先吃掉这股敌人再说。
有人提醒他，咱们的任务可是去打大房身啊。钟伟破口骂道：“什么娘卖×的大房身，送上门的敌人给我打！”
十四团一个冲锋就拿下了姜家屯，俘虏敌人200 多名。但王奎店那边却不顺利。这时林彪命令下来，催促五师立即赶往大房身。钟伟回话说，等把这股敌人吃掉马上就去，接着命令部队继续猛攻。
没想到王奎店敌人拼死突围成功，跑到靠山屯与那里的一个团会合。敌人前脚跑，钟伟率五师后脚追到。
经过一夜的激战后，五师扫清了外围之敌，将残敌压缩到东南角烧锅（烧酒作坊）大院内的核心据点里，烧锅大院四周大围墙有丈余高，沿墙筑有大小地堡百余个。院内也遍布地堡，每座屋子的墙上都有枪眼两三排，每个屋角屋顶又都筑有工事。守敌配有8 挺重机枪、40多挺轻机枪、两门82迫击炮和数十门60迫击炮。各种火力交叉，构成了一片找不出一个掩蔽死角的火力网。使得大院成了易守难攻的据点。敌军仗着火力强盛，企图凭险固守待援。这时，林彪又来催五师执行总部意图。钟伟派人回话说，我这里都快吃
掉敌人一个团了，再说押着一大堆俘虏也抽不开身啦！天亮后，钟伟命令部队向烧锅大院发起攻击。但由于没有炮火保障，只能靠人送炸药包爆破围墙，所以连冲四次也未能攻进院内。此时，敌八十八师又派出一个团回援。援军的到来，如同给院内守敌服下了兴奋剂，一时间回光返照，抵抗更加顽强，并妄图里应外合，一举逃掉。对于这块好容易捞到口的大肥肉，钟伟可不会让它轻易地溜掉。
就在这会儿，林彪的第三次催促令也到了。有人说，这回不走也得走了。
钟伟一拍桌子，骂道：“谁再说走，老子就枪毙了他！”他一面派出部分部队阻敌援军，一面命令攻坚部队重新部署，做好从两个方向同时攻击的准备。
同时向林彪汇报：“我现在可抓住了条大鱼，五师就在这打了，快让一纵他们来配合我们吧！”二纵五师在靠山屯捉住敌八十八师一部后，吸引了敌八十八师由德惠，八十七师由农安赶来增援，结果造成了我北满主力大量歼敌的有利机会。于是林彪命令一纵向西急进，插至衣安以东、德惠以西地区，截断敌军之退路；二纵四师、六师则西出阻击援敌，以保障五师歼灭靠山屯之敌。
五师激战到深夜零时，终于将靠山屯守敌全歼，共计歼敌1330余人，缴步枪近800 支，轻重机枪94挺，各种火炮19门，汽车8 辆，战马107 匹。
随后二纵五师和四师又配合一纵等部队，将敌八十七师主力包围在农安与惠德之间的郭家屯、王家车铺和凤家屯等地。结果使得企图北犯松花江的敌八十八师全部被歼，敌八十七师损失近半。
就这样，由于钟伟的主动求战，整个三下江南作战来了个本末倒置，不仅调来了一纵和二纵，而且把林彪都指挥了。据说林彪后来曾说过：要敢于打违抗命令的胜仗，像钟伟靠山屯那样，三次违抗命令。
三下江南战役，我北满主力共毙伤敌军2500余人，生俘敌人5000余名。
实为三次南下作战中，战果最辉煌的一次，二纵尤其是五师，则为此辉煌战果立下了头功。从此，更加巩固了其在东北野战军中的主力地位。
东北军区司令部评价二纵五师是：“该部队系东北部队中最有朝气的一个师，突击力最强，进步快，战斗经验丰富，攻、防兼备，以猛打、猛冲、猛追，三猛著称，善于运动野战，攻坚力亦很强，为东北部队中之头等主力师。”在东北野战军12个主力纵队的36个师中，五师能得到如此之高的评价，实为二纵之光荣。
三下江南之后，1947年4 月，独立第一师编入第二纵队。
1948年1 月，东北民主联军改称东北人民解放军，第二纵队番号仍不变。
当年8 月，东北军区前方第二指挥所改称东北野战军第二兵团后，二纵隶属第二兵团建制。之后，二纵先后参加了攻克锦州，围歼廖耀湘兵团和解放沈阳的一系列重大战役。1948年底至1949年初，中央军委进行了统一全军编制及番号的工作。 1948 年11月1 日，第二纵队改称为中国人民解放军第三十九军，军长刘震，政治委员吴法宪，副军长谭友林、孙子仁，参谋长王良太，政治�