在莱芜战役中，第12军的主力，在军长霍守义的软硬兼施的策略之下，得以保全。但他与王耀武及军队内部的矛盾并没有化解，各方就在这种微妙的关系之中，进行了新编。

1947年6月，几经努力，重建后的新编第36师在师长曹振铎的带领下，脱离建制。不久，第12军被整编为整编第12师。担任东阿、平阴、长清一线的黄河防务。

此时，王耀武主动拉拢整编112旅旅长孙焕彩的力度更大，而霍则旁敲侧击地说，不要上了王的当，要团结，否则是没有好下场的等等。王耀武、孙焕彩碍于霍守义与汤恩伯的关系，自然对他无可奈何。

1948年初，霍守义的女儿出嫁，霍遂请假回到南京，向其主子顾祝同说起济南之事，想与驻守兖州的整编第32师换防，顾祝同很快便同意了。当然，王耀武也爽快地表示同意了，因为这个整编第32师的师长周庆祥，是原来王耀武掌握的老部队第10军的老人，而整编第32师，是原来商震起家的部队底子，有半个晋军的底子，但已经被王耀武等黄埔将领给同化了，里面安插有不少王的亲信。

第12军于1948年春，移守滕县、兖州大汶口，属第10绥靖区。第10绥靖区的司令官是“山东三李”之一的李玉堂，手里的部队早已被打光了。而且此人性情，也比精明绝顶的王耀武温和得多，对于整编第12师的军事，从来不过问。霍守义也就肆无忌惮地行使起他的权力来，先是成立了一个独立旅长，由亲信于一凡担任旅长，后是撤了孙焕彩的旅长职务，换上自己的亲信刘书维。

然而，解放军这边，却并不给他太多的机会，他也只好一步步收缩起战线来，最后重点防守兖州、曲阜、济宁三地，而且把兖州作为防守要点，布防重兵，其他两个地方则不然。这又是霍的小聪明所致，因为济宁是第5军的后勤基地，要是解放军打济宁，第5军势必要救。而放在曲阜方向的，则又是第111旅一部，放在那儿，是让他们等死的。

无论霍守义的小算盘打得如何精明，也抵挡不了解放军强势兵力的攻击。而更有意思的是，解放军山东兵团来来是用部分兵力打他，让整编第25师来救的，然后采取围点打援，先把25师给收拾了，再回头收拾他的第12师。没想到，豫东那边，又围着了个区寿年兵团，蒋介石一比较，就调黄百韬的第25师回师开封，去救区寿年兵团了。这边，把他给放弃了。于是解放军的“牛刀”也就架到了他这只鸡子的脖子上，很快便把整编第12师给打了个稀烂。

霍守义眼看大局已去，无奈于乱军之中，主动找到解放军，投诚了。