在泗水前线，李世民与刘黑闼相持了六十多天。刘黑闼突然率军偷袭李世的军营，李世民急忙率精锐骑兵猛攻敌人的后背，援救李世，却被刘黑闼率军包围。这时，尉迟敬德率数百名壮士破围而入，李世民与表弟李道宗乘势突出重围。
李世民估计刘黑闼的粮食快要吃完，必定会前来与唐军寻求决战，便派人在泗水上流筑起了一道堤坝。他指示看守堤坝的军官说：“等我与敌人交战，派来使者，你便立即将堤坝扒开。”
三月二十六日，刘黑闼果然出动了，他率步骑二万南渡泗水，紧逼着唐军营栅列下军阵。
李世民有意将出战的时间向后拖延，一直等到唐军吃过午饭，他才令唐军出动。他亲率精锐骑兵向刘黑闼的骑兵发动冲击。大唐骑兵的来势是如此的凶猛，敌人抵挡不住，转身便逃；李世民乘胜纵骑兵蹂躏敌人的步兵。刘黑闼收拢溃散的骑兵，又重新杀回战场，他的部下都殊死作战，打散了便又重新聚集。这样，从正午到黄昏，双方几次收回军阵，又继续上前交战。到了后来，敌人渐渐顶不住了。刘黑闼的亲信王小胡对刘黑闼说：“我们已经用尽了全部力量，应该早点走了。”刘黑闼同意了，两人率先从军阵后面跑掉，刘黑闼的部下都不知道这一情况，依旧在战场上奋力与唐军搏斗。
这时，上游看守堤坝的军官接到了李世民下达的军令，迅速将堤坝扒开，大水汹涌而下，有一丈多深，带着一股奇怪的尖啸。刘黑闼的军队一看后路被大水切断，便全盘崩溃，结果有一万多人被杀死，另有几千人被大水淹死。
刘黑闼与范愿等人率两百骑逃奔突厥，河北各地全被唐军平定。
李世民随即率军南下进剿徐圆朗，却被皇帝李渊征召，令他乘驿站快马火速回京，将手下军队交给随军的齐王李元吉统领。四月九日，李世民回到长安，李渊亲自到长乐宫来迎接他。李世民为李渊详细分析了徐圆朗的形势和如何战胜他的方略，李渊表示同意，便又派他直接赶往黎阳，与大军会合后，进攻徐圆朗的地盘。
接下来，李世民向徐圆朗发动了大举进攻，一气攻下了十几座城池，声威震撼了淮、泗一带。在吴地长期割据的杜伏威感到害怕，便请求入朝晋见。李世民认为下面无需恶战即可取得胜利，便留下淮安王李神通、行军总管任瑰和李世继续进攻徐圆朗。自己和齐王元吉一道于七月六日班师回朝。
七月八日，杜伏威抵达长安，被皇帝李渊长期留了下来。
不久，徐圆朗在连战皆败后弃城夜逃，为地方乡勇所杀，他的地盘全部被唐军平定。
刘黑闼逃亡突厥后，大唐朝廷本以为河北业已平定。谁知数月后，刘黑闼又南下了。这时突厥处罗可汗已病逝，他的弟弟咄絆嗣立，是为颉利可汗。刘黑闼向颉利可汗借了数千骑兵，又重新回到河北、山东一带。他的旧将曹湛、董康买已经逃往民间躲藏，见刘黑闼返回中原，又起兵响应。大唐皇帝李渊派淮阳王李道玄和总管史万宝率三万大军前往征讨，唐军与刘黑闼军在下博对阵，结果陷入重围，李道玄临阵被杀，史万宝率轻骑逃回。于是河北各州又相继反叛，不到半月，刘黑闼便收复了旧地，重新建都于？州。李渊派齐王李元吉率军进剿，李元吉畏敌如虎，逗留不进。这时，太子李建成突然主动请缨，令李渊感到十分吃惊。
李渊登极之初，李建成便被立为皇太子，经常在长安帮父皇处理一些具体事务。由于他并不以带兵打仗见长，所以一般只上次要战场征讨。武德二年，司竹人祝山海造反，手下兵力有一千，自称护乡公；李建成奉命率将军桑显和进击祝山海，将他一举歼灭。后来凉州人安兴贵将割据一方的李轨袭灭，率领部下来降，李建成又奉命前往原州迎接。当时正值酷暑，李建成却一路游猎，不加节制；士卒受不了苦，有一半以上的人相继逃亡。
皇帝李渊担忧太子不熟悉治国方略，便经常令李建成了解时事；朝中一般事务，只要不是军国大计，都交由李建成裁决。李渊又派礼部尚书李纲、民部尚书郑善果做东宫的属官，帮李建成参谋政务。
武德四年，稽胡酋长刘？成率领部落军队数万人骚扰大唐边疆，李建成又奉命率军讨伐。队伍驻扎在祝荩肓酰砍傻木酉嘤觯罱ǔ芍富犹凭鳎笃频芯渡奔赴偃耍惨磺Ф嗳恕＠罱ǔ山仓械募甘纺渴头牛⑶叶际谟韫倬簦钏腔厝フ形亢嗣恰Ａ酰砍梢晕凭娴目硭×怂牵愦藕写笏袄辞虢怠＠罱ǔ傻Ｐ乃窃谔凭吆蠡够岱磁眩忝苣苯侨可钡簦挥谑茄镅砸谡饫镌錾柚菹兀匦栊拗且兀阏鞯鞲鞯睾四米藕怀堑钠餍担浇ǔ堑牡胤郊小５搅艘雇恚罱ǔ芍富犹凭嗣孛茏ゲ镀鹄矗酰砍商搅讼ⅲ泵μ优埽溆嗔Ф嗝岛急惶凭焙Α�
除此之外，李建成基本上没有多少作为。与此相反的是二弟李世民呼风唤雨，连续平定了薛仁杲、刘武周、王世充、窦建德、徐圆朗等，威名震动了全天下，令李建成的内心很不平静。他感到自己的太子地位受到了李世民的威胁，渐渐与四弟齐王李元吉结为联盟，共同对付李世民。太子詹事李纲多次劝他跟弟弟李世民搞好关系，不要听信谗言，妄生猜忌，又多次劝他少饮酒，多读书，他都听不进去。李纲便向皇帝李渊要求退休，李渊不答应，反而加封李纲为太子少保。李纲很不情愿，却无可奈何，心中十分郁闷。
李建成见李世民收罗四方英才延入幕府，也加以效仿。有一位太原人名叫王皀，从小失去父母，志量深沉。开皇末他做了奉礼郎，后来受到汉王杨谅起兵造反一事的牵连，便逃亡到南山深处，躲藏了十几年。李渊入关后，王皀在李纲的推荐下做了世子府谘议参军。李建成立为太子后，王皀又被任为太子中舍人，不久转任太子中允。他忠心耿耿，计谋多端，不仅不像李纲那般老套而且嗦，反而积极主动地帮太子谋划，想方设法压制秦王李世民的势力。李建成对他非常器重，将他引为谋主，大小事情都向他咨询。
原李密的记室魏征，在黎阳被窦建德攻陷时同李世一道做了夏军的俘虏，窦建德任他为起居舍人。窦建德失败后，魏征又从？州与裴矩一道西入关中。李建成很久便听说了魏征的大名，于是请他做了太子洗马，对他十分尊敬。魏征受恩感激，尽心竭力侍奉太子，他见李世民功业鼎盛，也经常劝李建成早作防范。
本年夏秋，当得知窦建德的旧部纷纷反叛后，李建成便向曾在窦建德军中呆过一年多的魏征请教平叛大计。魏征向李建成讲述了窦建德的事迹：如何为人仁慈，如何深得士卒之心，士卒又如何乐于为他效命。李建成听了，怦然心动，颇想效法窦建德的作为。魏征又为李建成分析道，自从窦建德失败后，大局本来已定，只是由于朝廷对窦建德旧部采取了过分严厉的政策，才将他们逼反。刘黑闼第二次卷土重来的事实说明，靠杀戮和严刑峻法是解决不了问题的，只有赦免造反者、安抚人心，才是使叛乱彻底平息之道。这一点朝廷没有意识到，秦王李世民也认识不到。
“先生的见解真是卓越超凡，可惜与先生这么晚才相聚！”李建成诚恳地对魏征说，“我今日能得到先生辅佐，真是天意啊！”
魏征十分感动，便劝李建成按照这一方略，亲自领军东征，谋求建功立业。过去，按惯例，遇到解决不了的危情，总由秦王李世民出场，一举将敌人平定。李世民似乎总是拖到最后才出场，这样他每一次出征，都引起天下震动。
“殿下您只是凭着年岁最大，才占据首位的，过去您较少率军出战，功业自然不多；你对人仁爱，却没能让全国人都知道。”魏征对李建成说，“而秦王却功盖天下，中外归心，这样下去，殿下您很不安全啊！而今刘黑闼率领的不过是残兵败将，精锐主力不超过一万，加上资粮匮乏，如果大军前去攻击，必定势如摧枯拉朽，不需要打几次仗，便可将刘黑闼消灭！殿下您最好亲自出征，来建立功业，树立名望，乘势又可以培植实力，结交山东豪杰。”
李建成被说服了，便向父皇请求带兵东征。李渊为太子的进取精神所打动，爽快地答应了。
武德五年冬十一月七日，太子李建成率军前往河北前线。过去那些属于李世民权限内的，现在一律归李建成掌管；李建成还被授予了临场决断、不必请示的特权。
李建成率军出征后，李渊还在为窦建德旧部一再反叛的事大生闷气。他对李世民说，你当初就不该把那五万夏军俘虏全放走，而应该像曹操和白起那样，将他们在一夜之间全部坑杀！李渊进而设想，干脆下诏太子李建成，要他在取胜之后，将山东十五岁以上的男子全部坑杀，将幼弱男子和妇女全部驱赶过来填充关中！说出这些想法时，李渊的眼神狂乱，声调高低不平，长期反复的战争令他心烦意乱，失去了往日的沉静。
随着时间的演进，李渊已不是当年那位日理万机的勤政皇帝，他越来越依赖于大臣处理具体事物，而将更多的时间花在内宫。对于许多军国大计，他已没有精力去进行详尽研究，往往在匆忙间作出决断，失误渐渐增多，有时甚至让人感到不着边际。他已不是起兵之初那位追求尽可能少杀人、以宽恕别人收买民心作为统御方略的仁慈皇帝，不知是否是因为残酷的战争使人心智发生了变异，他曾下令如同薛举、薛仁杲屠杀唐军俘虏一样反过来对西秦军实施大屠杀（幸被李世民、李密劝阻），曾在刘武周大军南进最危急的时刻冤杀了太原起义的功臣刘文静。在他身上越来越多地浮现出隋文帝的影子——用人之力，却不愿报人以德。那位在蒲坂救了他一命的刘世让，当时曾受到他厚重的赏赐，他封刘世让为弘农郡公，赐田百亩，钱百万，任命他代理并州总管。当李世民率军在河南与王世充和窦建德作战时，突厥多次南侵太原，都被刘世让率军击退。突厥人使了反间计，声称刘世让和可汗暗中勾结，李渊一怒之下，竟下诏将救命恩人刘世让斩杀，将他的妻儿没籍为奴！将军李仲文在保卫西河时战功赫赫，李世民撤离时，他作为并州总管留守太原，也因为同刘世让一样的原因，被李渊召回长安斩杀。而那位袭杀李密的功臣盛彦师，落于徐圆朗之手，而徐圆朗不杀；后来他逃回来后，李渊却怀疑他未尽臣子之节，找了个理由，将他诛杀。
对于李渊屠杀山东男子的意见，李世民反复劝谏，认为这样做只会激起更大的反叛，也有违于上天好生之德，万万不可施行，才说服父皇放弃这一近乎疯狂的设想。
当太子李建成和齐王李元吉率唐军逼近时，刘黑闼正在围攻魏州，他率军抵抗，双方两次列成阵势，都没有交战而撤回。不久，燕王李艺又带本部兵马前来与李建成会师，唐军军力大增。
魏征向李建成建议道：“上次击破刘黑闼时，他的将领都被悬赏捉拿，有的判了死罪，他们的妻子儿女还要被投入监狱；所以前一段齐王来时，虽然宣布了诏书，赦免所有胁从者的罪行，但他们仍不敢相信。而今我们应该将手中的囚犯和俘虏全部释放，向他们解说清楚，好好抚慰，再放他们走，那么我们只需坐在这里，便可以看到刘黑闼的队伍渐渐地散掉。”
李建成按照这一意见做了。不久，刘黑闼的粮食吃完，部下接二连三地逃亡，有的还绑着上司前来投降。刘黑闼担心魏州城中的军队与唐军勾结，对他实施前后夹击，便在一日夜间秘密撤退，将队伍驻扎在运河以南的馆陶。由于在运河上还没搭好桥，队伍暂时停在南岸。
十二月二十五日，太子和齐王率大军追到，刘黑闼令王小胡背水列阵，自己亲自督促搭桥，一旦，桥搭成，他便率先过桥，他的队伍见了，霎时全盘崩溃，纷纷丢下兵器来降。唐军过桥追击刘黑闼，才过了一千多名骑兵，桥就垮了。刘黑闼仅仅带着几百名骑兵逃走。
李建成派骑将刘弘基追击刘黑闼，刘黑闼为追兵所迫，马不停蹄地奔逃，一直得不到休息。武德六年春正月三日，刘黑闼逃到饶阳，身边才剩下一百多人，个个饿得头昏眼花。刘黑闼所任命的饶州刺史诸葛德威出城迎接，力邀他入城休息，刘黑闼不肯答应，诸葛德威流着眼泪一再请求，刘黑闼才勉强接受，但只敢走到城墙旁边的市场中间暂时歇息一下。诸葛德威立即送来了饭食，众人刚吃了一半，便被诸葛德威派兵抓了起来。原来诸葛德威早已暗中投降了唐国。刘黑闼被押送到李建成那里，和他的弟弟刘十善一道在？州被斩首示众。刘黑闼在临刑前叹息道：“我本来在家中为菜除草，被高雅贤那帮人害成这个样子！”
至此，刘黑闼发动的叛乱全被平定。
在军中，李建成按照魏征的指点，大施财物笼络人心，秦王李世民的老部下秦琼、程咬金等人不为所动。然而在吸引新附的山东豪杰方面，李建成大有斩获。有一位将军名叫薛万彻，很有用兵才干，他是隋朝左御卫大将军薛世雄的儿子。薛世雄在与窦建德交战时因惨败而气病死去，薛万彻便和哥哥薛万均一道逃到幽州投奔罗艺，兄弟俩因为武略出众，受到了罗艺的厚待。后来罗艺归附了大唐，改名为李艺，被封为燕王。薛万均也被封为上柱国、永安郡公，薛万彻被封为车骑将军、武安县公。不久窦建德率十万大军来攻范阳，薛万均和薛万彻兄弟率精骑百人，乘窦建德率军渡河之际发动突袭，城中李艺也率军杀出，两下夹击，大败窦建德。第二年，窦建德又率二十万大军来攻幽州，这次夏军攻势凶悍，已经翻上了城堞，但薛万均与薛万彻却率敢死队上百人从地道里钻出，对夏军的后背发动突袭，窦建德的二十万大军再次溃逃。上次李世民平定刘黑闼的叛军时，与李艺会师后，他见了薛万均，非常欣赏，封他为秦王府右二护军，对他厚加礼遇，却