1947年6月底，刘邓12万大军渡过黄河，向大别山直插过去，一路上势如破竹，先后攻取了郓城和定陶等地。7月中旬，陈再道率领2纵来到羊山集，将宋瑞珂的整编66师团团包围，随即发起猛攻，打了一个星期，愣是没能攻下来。羊山集为什么这么难打？原因有三点：第一，宋瑞珂占了地形的便宜。羊山集依山而建，外有寨墙壕沟，内有碉堡工事，2纵从下往上仰攻，吃了不少亏。第二，天气帮了宋瑞珂的忙，2纵仰攻本来就吃亏，偏赶上这几天不断下雨，羊山脚下成了一片沼泽地，更增加了攻击的难度。第三，宋瑞珂难啃，整编66师是陈诚的嫡系，清一色美械装备，士兵多为老兵，战斗力强悍。

连攻7天不下，陈再道的火气上来了，自从解放战争开打以来，他还没有遇到过这样难缠的对手。蒋介石见宋瑞珂在羊山集吸引住了刘邓的主力，又冒出了“中心开花”的想法，他一面给宋瑞珂打气，让他固守待援，一面从西安、洛阳和郑州等地调兵，妄图在羊山外围形成一个大包围圈，将刘邓12万人马一口吞并。羊山集久攻不下，引起了军委的注意，主席亲自给刘邓发电报建议不要再在鲁西南和国民党纠缠了，赶紧调整部队南下，直插大别山，完成战略任务。

刘伯承也知道不能再在羊山集耗下去了，国民党的援军正从四面赶来，但不打掉宋瑞珂，他就会一直跟在自己的后面，拖着这样一条尾巴行军，总是一件麻烦事。于是他亲自给陈再道打电话：“你老实说，攻下羊山集到底有没有把握？”正在指挥的陈再道把帽子一摔，说道：“吃不掉宋瑞珂我就解甲归田！”随后他不顾危险，亲自赶到前线查看地形，并调整了进攻部署，决定集中火力先打羊山的最高峰羊身，然后居高临下对宋瑞珂发动总攻，方案上报后得到了刘伯承的批准。

7月27日，2纵发起了总攻，经过激战占领了羊身，宋瑞珂组织了几次反扑，都被打了回来，他急切盼望着援军的到来。此时蒋介石派飞机给宋瑞珂空投了一封亲笔信，信中写道：“羊山苦战，中正闻之忧心如焚。望吾弟转告部下官兵暨诸同志，目前虽处于危机之时，亦应固守到底，援军日驰夜骋，不时即到，希弟信赖上帝庇佑，争取最后五分钟之胜利。”蒋介石声称援军日驰夜骋，事实却是各部因为害怕中伏，都裹足不前。28日上午，羊山的所有制高点均被突破，宋瑞珂见大势已去，下令停止抵抗，做了陈再道的俘虏。战后毛主席点评此战时曾说：土包子打败了洋包子，放牛娃打败了黄埔生。