1947年5月，国民党军集结了45万大军，发动了对华野根据地的全面进攻。粟裕做出了艰难决定，他决定集中优势兵力，打破国军的重重包围，成功全歼号称国民党军五大主力之一的整编74师，并且击毙了该师的师长张灵甫。

整编74师的前身是抗战时期的国民革命军74军，这支部队虽然成立时间不长，却在淞沪会战等多次抗日战役中立下赫赫战功，屡次重创日军。然而，抗战结束后，这支部队却成为了蒋家王朝内战的先锋，频繁出现在与华野作战的最前线，给根据地的人民造成了巨大的伤亡。整编74师被全歼后，整个国民党军的士气受到了极大的打击。

尽管遭遇重大损失，蒋介石依旧不甘心，他命令将整编74师重建。第二任军长王耀武接手了这项任务。此时，整编74师的三个新兵团没有参与前线战斗，王耀武便利用这三个新兵团和一个榴弹炮营，重建了整编74师的主力，并将其划分为51旅、57旅和58旅。新的整编74师师长是黄埔四期的邱维达，且他与王耀武有着深厚的关系。

1948年1月，整编74师的重建完成，并正式加入了国防部的作战序列。1948年春，刘邓大军突破大别山后，经过一番激战，决定出山，寻找机会歼灭敌人。在大别山的战斗中，刘邓大军损失惨重，尤其是中野的兵力大幅减员，重型武器几乎全丧失，士气低落，决定先行攻打阜阳以恢复战斗力。

此时驻守阜阳的是74师的58旅，由罗幸理担任旅长。74师师长邱维达亲率51旅和57旅驻守在蒙城，两个地区相距约200里。58旅在兵力和装备上都很有优势，士气也高涨，且有为张灵甫复仇的情绪在其中。阜阳周围的国民党第十四绥靖区司令部亦在此地，李觉中将负责指挥。该绥靖区的管辖范围包括阜阳、临泉、太和、蒙城等八个县。

刘伯承的部队在那时只剩下杨勇指挥的一个纵队和张国华的独立旅。杨勇指挥的纵队损失过半，剩下的士兵不足一万，弹药匮乏。而张国华的部队，虽然兵力多达两万五千人，但其中有很多是新收编的国民党残军、土匪以及汉奸，缺乏正规军的作战经验。为了增强中野的战斗力，军委决定调派三万名士兵从华北军区南下，以补充中野的兵力。到1948年3月，中野的二纵、三纵和六纵陆续赶到淮西，紧接着，粟裕指挥的王秉璋十一纵也恢复了编制。此外，为了确保阜阳战役的胜利，宋时轮率领的华野十纵也被调配到中野指挥下，此时中野参战的兵力达到了六个纵队，共15万人。

刘伯承的战略目标是彻底歼灭整编74师，战斗的顺序是先消灭驻扎在阜阳的58旅，然后再攻向蒙城，歼灭邱维达指挥的51旅和57旅。此次战役的主攻力量由中野的第一纵、十一纵和从张国华部队抽调来的三个战斗力较强的团组成，由金绍山指挥。杨勇担任此次战役的总指挥。

3月28日，我军开始秘密集结兵力向阜阳推进，但很快被敌军察觉。3月29日，杨勇指挥的第一纵分为三个旅分别从东关、南关进攻阜阳，王秉璋的十一纵也分三个旅向西关和北关进攻。三路大军总计约五万人。 3月29日晚，第一纵的第20旅第59团在阜阳外围东三里湾歼灭了一个国军连队，随即休整备战。但第二天，敌军一个营发动反击，迫使我军59团撤出已经占领的阵地。经过与中野十一纵的增援配合，59团的指挥官终于被解救。 敌方58旅驻守在颍上的173团，团长蔡锷亚带领部队奋勇反击，不仅突破了我军的多道防线，还成功突破至阜阳城内，支援城内的国军。阜阳城关有两个制高点至关重要，即文峰塔和奎星楼。我军经过两天的激战，终于占领了文峰塔，但对奎星楼的攻击直到最后也未能成功。 3月31日晚上，吴忠指挥的一纵20旅成功突破东关，突入城内。然而，58旅旅长罗幸理亲自指挥反击，使用了16支火焰喷射器，造成我军20旅58团遭受惨重伤亡。敌军172团的团长刘炳均率部封锁了我军的退路，从背后发动进攻，迫使吴忠带领残部撤出城关。 与此同时，王秉璋指挥的十一纵向北关和西关展开攻击。敌58旅的174团团长蒋立先率敢死队展开反击，成功逆袭了十一纵。许多士兵在护城河中被淹死，部队损失惨重，十一纵不得不重新组织攻击。而杨勇也指示撤回第一旅，将任务交由第一旅接替。 4月3日，邱维达亲率整编74师主力增援，并有张轸兵团和胡琏的18军赶到豫皖边界。经过长时间的激烈战斗，中野付出了上万人的伤亡代价，最终无法继续推进，只得分路撤退。张国华和金绍山继续在淮西打游击，而王秉璋的十一纵则撤回鲁西南。当刘伯承指挥的四个纵队离开淮西，前往豫西时，部队的规模已经缩减至七万人，而陈赓的部队也恰好有七万人，迎接刘伯承。