不免低落，杨将军认为要扭转此种风气，首先，从教育入手，规定每晨5时起床，点名后举行朝会，官佐一律参加。朝会上杨将军亲自讲述革命道理，政治处长王惠作政治讲话。在一天朝会上，师参谋长王一山因迟到被罚立正。又在一次操场上，因第三旅迟到，参谋主任仲兴哉被罚跪。团长张自强、党振海均因事受罚，当时教育之严，可以想见。其次，是抓紧术科训练，每天两操两课，部队长都必须亲自参加。尤其注意战斗演习，如野外勤务和夜间教育等。杨将军每日亲自巡回视察各部队教育进展情况，赏罚严明，丝毫不徇情面。再次是严厉查禁官兵吸食烟毒。在我军移防单县期内，因杨军长时离开部队，且久未获得正式编制，个别军兵感觉前途无望，意气消沉，染上吸毒恶习，日久成瘾，陷溺愈深。不特百事废弛，而削弱部队战斗力。
杨将军毅然下令严禁。但因积习难改，一些瘾官兵仍阳奉阴违，暗地吸食，杨将军亲自带兵搜查，查出九团团副刘顺和烟具，遂立即扣押。翌日在操场上宣布并出示烟具证物，将刘顺和以违抗命令，当场枪决，一军皆惊。从此人人戒惧，烟毒得以肃清。在杨将军雷厉风行，大加整顿之下，军容大大改观，战斗力大大加强，凡此种种，均为日后剿匪胜利打下基础。同时我军的口号是不扰民，不害民，爱护民众。杨将军对此执行的非常严格，官兵也非常自爱，从无扰害民众之事发生。临沂整训期间，也正是刘、顾等匪更形猖獗之际。莒县、诸城、沂水、日照等县民众均先后派代表前来请求从速清剿，以解倒悬，并自愿供应我军剿匪期间的军用粮秣。杨将军轸念民艰，允俟部队部署完成后即日进剿。④
山东剿匪 展现虎威（1）
部队经过杨虎城的一番整顿，精神面貌焕然一新；军事素质大为提高；军民关系大为改观。为开展剿匪奠定了胜利的基础。当时，刘黑七匪部驻地莒县和大店并与顾震匪部互相策应，因而进剿不易。为剿灭这两股匪徒，杨虎城采用了远交近攻策略，决定先剿刘部，再以战胜之师清剿顾震。于是先派人与顾震连和，约以各不相犯，并划定诸城一带为其势力范围。1929年2月下旬，除留下一个营驻守临沂外，杨虎城亲率全师人马分兵三路：中路由杨将军亲自督率，左支队赵寿山，右支队武勉之，同时向刘黑七匪部驻地莒县、大店发动进攻。双方激战一整日，于当晚攻克大店。土匪大败溃退，杨部乘胜追击，中途土匪又在大店以北组织反击，但被击退，匪伤亡惨重，向莒县方向窜去。是役俘获匪军人枪数百，杨部手枪营王振华营长背部被炸片击成重伤，杨虎城鼓励士兵，乘胜向莒县方向追击，匪因大店之役，精锐损失殆尽，丢魂丧胆，军无斗志，略一接触，即行溃散，左支队背机占领莒县，虏获架退式山炮两门，各种枪弹及军用物资甚多。刘匪只身仓皇逃出莒县，连眷属也遗弃不顾。特务营营副杨复震带队继续追击，将刘匪赶出莒县北20里外。部队稍事整理，即展开对顾震匪部之清剿。
3月6日，致电孙良诚报捷：“军急。限即刻到。泰安探投。总指挥孙鉴：（一）大店镇之匪被职部包围后顽强抵抗，于21日拂晓下令攻击，悬赏十元。官兵血肉持搏，奋不顾身，至下午10时，第一团攀梯先登，第四团继进，遂将该城攻破。白刃相接，巷战多时，除少数漏网外悉数歼灭。（二）刘黑七于当晚亲率匪众数千人来援，被职部埋伏兜击溃败，成列向莒县方面逃窜。（三）职部现分两路向莒县方面尾追。（四）职部伤亡官兵一百五十余名。（五）夺回战利品正在清查中。特闻。师长杨虎城叩。”
孙蔚如1942年说：“1929年出兵进击刘桂堂（小名黑七）。虎城率武勉之、韩寅生、张自强、韩澄清各团经大店向莒县为主攻，予率赵寿山、段向武亳州两团经夏镇向莒县为助攻。途中得报，夏镇敌已被寿山驱逐，大店为刘重兵，未能得手。遂与虎城变计，夏镇方面只留寿山一团担任，予率向武团亦增向大店。各军到齐，予率勉之、向武两团攻南面，虎城率寅生、自强攻西面，澄清团作总预备队。南面先破之，第七团王劲哉营长率骑兵一排先冲入莒县。城内刘部尚数千之众，仓皇奔窜，我即占领莒县。劲哉进城时，扰攘中，兵士二人抢掠邮局财物若干。予即令赵团长寿山查究，既得明证，即将该肇事兵二名正法。后虎城到，报告之，而虎城则谓：‘应由带队官负责。’要杀劲哉。予念攻克莒县，哉之功甚大，不可忽人大功而录人小过，因与力争，终予劲哉撤职。”⑤
孙蔚如这次救下了王劲哉（外号王老虎）这只虎真可谓“养虎为患”，最终这只虎在西安事变后期背叛了“团体”咬了杨虎城。击溃刘黑七部后，杨虎城立刻挥师诸城，直捣顾震匪巢。顾震匪部是军阀残余，盘踞诸城一带已有数年，平日与刘黑七部匪联和，仅以自保。当此次杨军剿灭刘匪部。顾震虽有唇亡齿寒之感，但以为与杨军有约在先，尚企图苟延残喘。杨虎城以战胜余威，对此釜底游魂，并未使用大的兵力，仅派一部进剿，顾匪仓促抵抗，一战即退，杨军势如破竹，进占诸城，顾匪仓皇逃窜至七十里铺（留在诸城之军需辎重及其眷属，均被杨军截获，连顾匪之皮大衣也被杨将军卫士白志钧所得。杨虎城严令其交回顾震家属，不准私取一物）。杨军跟踪追击，匪部再退至王台，此时天已薄暮，杨军即在七十里铺宿营。顾匪在王台收拾余烬，翌日拂晓向我猛烈反扑，经武勉之部迎头痛击，相持约数小时，匪部被彻底打垮，溃不成军，顾匪只身逃窜大连，残匪向日照、安丘等地分头逃窜，不久便星散了。
3月13日，电报克复山东诸城详情：“（衔略）顾震欺骗政府，盘踞诸城，阳取中央之委任，阴奉张逆宗昌之命。泰安孙主席体念民艰，始于宽，冬日电令该部移防，以免糜烂地方，诸城防务，即由敝师接守。敝部当即一面派员往诸城接洽防务，一面派队前进。讵知该逆恃张宗昌为后援，置命令于不顾，遂指示刘匪黑七残部，盘踞莒、诸交界白马山、北杏一带，接济刘匪大批弹药，并派兵一旅助刘为虐，延烧附近七十余村，架去男女肉票八九百人，杀无钱肉票120人，剖腹截肢，弃于原野，为状之惨，目所未睹。敝部以奉有明令，并应民众呼吁，遂令第三旅旅长孙蔚如率领第一团团长武士敏、第五团团长张自强、第七团团长赵寿山及各特种兵进击顾匪。幸赖官兵奋勇，及民众援助，激战一昼夜之久，已于当晚攻下白马山、北杏等处，逆匪数百溃走，退守枳沟。是役当场毙匪三百余人，俘虏四五百名，救出肉票六百余人，夺获该师旅团营关防图记32颗，师旅团营部旗帜19方，枪械甚多。敝部于攻克北杏后，即乘势进攻枳沟。
山东剿匪 展现虎威（2）
该处为诸城西南重镇，城壁坚固，顾震亲率三团之众，与刘匪残部，共约四千余人，凭险顽抗。经敝部奋勇登城，血肉相搏，逆匪不支，遂于文日上午7时占领枳沟。逆匪狼狈东奔，当即派第三旅旅长孙蔚如率队跟踪尾追，并令右路第八团团长段向武是夜前进。该逆经枳沟大挫之后，溃不可支。当被我军两路直蹈诸城下，该逆即弃城潜逃。截获辎重甚多。查内有张逆宗昌委状公文及勾结日本帝国主义函数十件，而该逆作乱证据，已成难掩饬之事实，罪恶滔天，罄竹难书。诸城秩序安谧。除派队尾追，并分别呈报通告外，谨电奉闻。国民革命军第二集团军暂编第二十一师师长杨虎城叩，元日。” 杨虎城此次出兵不到一个月，即将盘踞胶东多年两股约有万余人之匪部彻底肃清，士气昂扬，军心振奋。一方面有赖与指挥有方，官兵用命；更得益于临沂整训以后，纪律严明，军行所至，秋毫无犯，得到民众拥护和民众之大力支持。许多百姓主动为剿匪引路、送饭、转运伤员，使部队无后顾之忧，得以奔赴事功，完成任务。当攻克诸城后，冯玉祥来电嘉奖，此电由临沂沿途转递，直到七十里铺战役结束，方才接到。电文中有：“吾弟此次进攻胶东，战必胜，攻必克，进展之速，以致电报无法投递”之语，可以想见当日进兵之神速。至于官兵在艰苦情况下之严守革命纪律，不但民众有口皆碑，就俘获的刘、顾两匪之家属，也无一人遭凌侵犯。
杨虎城将刘、顾两匪首的家属交由军需处长窦荫三负责派兵专门守护并供给食宿，当战事一结束，即寄函刘、顾派人领回。事后曾接到刘、顾来函，对杨虎城保护其眷属安全感激涕零，表示洗心革面，不再为匪，以报答杨将军对他们的厚意。对于杨虎城部取得的剿匪胜利，当时的《革命军人朝报》报道，泰安3月31日电：杨虎城部追剿刘黑七残部，已于有（二十五）日晚8时克复安丘，刘黑七残部大部消灭。鲁匪顾震被杨虎城师追剿已不成军。顾身受重伤在青岛医，谓有生命危险云。
《新秦日报》报道，南京讯：杨虎城3月30日电告收复安丘。刘黑七残部贿某国军队得由胶济路逃躲，以格于外交未便穷追。冯玉祥对剿匪的胜利也发来嘉奖电：“诸城，杨师长虎城弟鉴：元、寒两电均悉。吾弟智勇兼胲，体用悉备。治军则严明丕著，作战则胜算独操。此次剿匪，鲁南勋劳，克举战胜，攻取所向无前，殪兹丑虏，歼厥凶魁。喜慰之余，弥深敬佩，着奖该师洋一万元，营长以上军官有殊功者，并准电报数人须给革命奖章，以资鼓励而奖有功全体官兵，并望代为慰劳。冯玉祥。”在剿灭刘、顾两匪部后，杨虎城又接到民众报告，说莒县东南山内有一小股土匪在地方为害颇深。杨虎城即派韩寅生部前往清剿，匪略事抵抗即四散奔逃。韩部直追至匪巢，沿途捉获匪徒数十人，救出肉票数十、驴子一二百头。匪所拉肉票，其中青年妇女颇多，均用细绳将其手指捆起，备受匪徒虐待。这些被救出的妇女要求将匪徒交给她们用刀处死，以泄气愤。经韩寅生以奉令清剿，俘虏必须送上级处理为由进行了说服，遂将所捉匪徒及肉票、驴子等一并解送师部，杨虎城令匪徒解交莒县县政府处理，肉票放回，驴子交原主人认领。此时已处于蒋、冯、阎中原混战前夕，冯为积蓄力量，重新调整部队，令孙良诚放弃山东，将兵力集结豫西，作战前准备。孙良诚命令杨虎城部由莒县开驻莱芜，预为开拔之计。
了解到在沂水至莱芜中途，必须要经过瓦屋崖，此处地形险要，悬崖壁立，仅有一条山路可通上下，崖上地势平坦，住有五六百家人口，修有石城，可资守御。当时正盘踞有一股土匪，有人枪千余，经常四出劫掠。如遇清剿部队，即据伏崖上，仅以少数人守住山口，部队无法进攻。在部队出发前夕，杨虎城曾考虑对此土匪进攻不易，即使攻克，部队也损失大太，如直接通过，又恐其趁机扰乱，形成后顾之忧。因此曾派人警告股匪，若其即日率属离去，当网开一面，决不进逼，但该土匪因恃有天险，悍然拒绝，杨虎城遂作进攻部署。他调派张自强、段向武等登山进攻，由于地形不利，张、段两部均略受损失而退下。续又调韩寅生部增援，孙蔚如亲率韩寅生登上东山（此山与瓦屋崖横隔大沟不能通过）勘察进攻路线，认为硬攻不易，且损失必大。
山东剿匪 展现虎威（3）
当侦知山上无水，山上每天需要到山下取水，遂将部队佯装撤退，而选拔精锐于夜间埋伏水泉附近，拟当匪徒下山取水，即乘机攻上。匪徒终以干渴难忍下山取水，下至半山发现杨军，即返身上跑，部队迅步跟踪追击，穿插入匪徒行列，山上守御之匪，因土匪与部队相杂，不敢开枪。杨军又在东山上用迫击炮轰击，匪众大乱自相践踏，越沟跳崖者不可胜数，部队攻到山头，除生俘数十人并将匪首当场击毙外，其余残匪一律肃清。救出土匪所拉肉票不少，内中大半皆是青年妇女，均派人分别护送回，牛羊无数，亦交沂水县政府领回交还原主。杨率军遂进驻莱芜。杨虎城始终认为冯玉祥的为人不易相处，部队有被编并危险。如果战败，必与冯部同归于尽。
为了保全本身力量，遂借口行军准备未妥，一再辗转延期。当孙良诚部队开拔完毕，陈调元已奉蒋介石命令接任山东省主席，前后不足一月，杨虎城率部队又回沂水，暂时分驻临沂、莒县、诸城、沂水、日照、安丘等地。剿匪战事，到此亦暂告一段落，驻地内盗贼绝迹，遂在诸城举行一次军民联合祝捷大会，并在会后举行官兵大会餐，以示庆祝和与民众同乐。杨虎城部在剿匪过程中与侵占我国山东的日本军队发生了争端。先是刘桂堂匪部溃退至胶济铁路以北，受到侵占济南日寇之庇护。
当部队奉令继续追击，行至胶济铁路线前夕，忽有日本人在佐佐木偕同另一日本人来见杨虎城。称胶济路线周围20华里内不准中国驻兵，阻止杨军追击刘桂堂。杨虎城当即答复本军剿匪系在中国领土上，外人无权干涉。佐佐木等见杨义正辞严威吓不成，转而拉扯私人关系。自言杨将军参加国军时，他曾到过陕西富平等地，对杨将军忠勇爱国热忱，久怀钦仰，继又为刘桂堂说情。杨虎城仍不为所动，佐佐木见威胁情商均未奏效，悻悻离去，杨虎城下令冯钦哉部进驻高密，继续追剿刘桂堂残匪。
为谋生存 另寻出路
部队通过整顿，经过剿匪的战斗磨炼，内部的团结增强了，装备改善了（靠缴获），军民关系改善了，但部队的出路又成了新问题。上万人的队伍，远离故土，需要吃需要穿，需要弹药还要发饷。是继续留在冯玉祥系统，还是另找出路，成为一时需要决断的问题。时任杨虎城秘书的米暂沉后来说：1929年4月，蒋介石与冯玉祥的关系濒于破裂。
冯遂下达“时局不靖，集结兵力，缩短防线”的命令，要暂编第二十一师随孙良诚由山东向河南转移。但杨虎城未听命，其原因主要有三点：（一）部队内部的�