国民革命军74军的成立始于1937年淞沪会战时期，这支部队虽然组建时间短暂，但却因其强大的战斗力在抗战期间留下了浓墨重彩的一笔。从淞沪会战到南京保卫战，再到兰封、武汉、长沙、上高、常德、湘西等重要战役，74军几乎参与了所有关键战斗，堪称中国军队中的战斗全明星。

74军的崛起，离不开其第二任军长王耀武的卓越领导。王耀武虽然毕业于黄埔三期，但凭借着出色的人际交往能力和军事才干，他的军旅生涯比许多同期的黄埔军官更为迅速。在抗战期间，尽管国民党军内部普遍存在着贪污腐化的现象，甚至有大量军官吃空饷，但王耀武却凭借商人的背景，在全国范围内开设了多个工厂，如饼干厂、被服厂和罐头厂，甚至将工厂设立在敌占区，以维持军队的物资供应。他将从生意中赚取的财富，投入到改善官兵的伙食和生活条件，使得74军的士气高涨，战斗力也因此得到了极大增强。

虽然王耀武极具商业头脑，他在战场上却从不吝啬自己的勇气。每当作战，他总会亲自坐镇前线，亲眼见证和指挥部队的英勇抵抗。特别是在长沙会战期间，74军已经成为国民政府军事委员会直属的王牌部队，与第十军一起并列为第九战区的两大主力。因其战斗力出色，74军被日军称作三五部队，而中国军队则称其为虎贲军。

1946年，随着全国军队的整编，74军被改编为74师，依然保持军地建制，拥有超过3万人的庞大规模，甚至超过了华东野战军一个纵队的兵力。根据抗战期间各部队的表现，国民政府评选出了五支战斗力最强的部队，其中74军被评为国民军的第一主力。抗战结束后，74师依旧在南京驻守，成为蒋介石的御林军。新任74师师长张灵甫，作为王耀武的老部下，依旧是个猛将，但他性格狂妄，不愿驻扎在南京，于是蒋介石将其派往华东战场。

在华东战场，张灵甫的74师给华东野战军造成了不小的压力。1947年5月，国民党军队在顾祝同、汤恩伯等指挥下，集结45万兵力，向华东野战军根据地发动进攻。张灵甫的74师一马当先，冲在最前面，给华东野战军造成了巨大的伤亡。在这种情况下，华东野战军终于决定彻底歼灭74师。粟裕命令五支步兵纵队与特种兵纵队配合，经过三天艰苦的战斗，以惨重的代价成功歼灭了整编74师，张灵甫也在这场战斗中丧生。为了补充战力，华东野战军决定将74师的俘虏重新分配到各个纵队，以提高全军的战斗力。

整编74师的覆灭给国民党军内部带来了极大的震动，蒋介石不甘心失败，决定让王耀武重新组建整编74师。孟良崮战役时，74师并未参战，反而有三个新兵团在后方训练。王耀武利用这些新兵团和榴弹炮营重新组成了新一代的整编74师，这支部队在经过数个月的重建后，于1948年1月完成组建，师部及51、57、58旅驻守安徽蒙城、阜阳等地。

1948年3月，华东野战军准备对驻守在安徽蒙城和阜阳的整编74师展开进攻。随着中原野战军的集结，刘伯承决定以歼灭74师来振奋士气。此次战斗的主要目标是阜阳的58旅，随后将进攻蒙城守军。尽管58旅是刚刚重建的部队，但其装备精良，火力强大。战斗一开始，华东野战军就遭遇了不小的困难，尤其是阜阳的守军顽强抵抗，打得极为惨烈。 经过几天的激烈战斗，华东野战军终于攻占了阜阳的制高点，文峰塔和奎星楼，但进攻进展依然缓慢。58旅虽然是重建部队，但由于其装备全部是美式武器，火力非常强大，华东野战军在攻城时遭遇了极大的困难，进攻屡屡受挫。经过六天的激战，邱维达带领74师主力前来增援，且有20个国民党军旅向阜阳开进，为了避免全军覆灭，华东野战军被迫分兵突围。

4月4日，刘伯承决定撤离阜阳，率领四个主力纵队向豫西进发，撤退后仅剩下七万余人，而此时陈赓所部也接近七万兵力，华东野战军的兵力和武器得到了一定恢复。