1948年初，滕海清在担任华野13纵副司令员期间，被调任至2纵担任司令员。13纵的司令员周志坚对此表示：“来得快，走得也快！”而2纵的司令员韦国清则鼓励他：“你要挑起大梁！”

滕海清曾在抗战时期担任新四军4师9旅的旅长。抗战胜利后，在副师长韦国清的带领下，与新四军2师的两个旅组成了山东野战军2纵。罗炳辉担任司令员，韦国清则是副司令员，而滕海清继续担任旅长。

1947年初，山东野战军的2纵与华中野战军的9纵合并，组成了新的2纵。9纵是原新四军4师的另一部队，编制内有5个团。新组成的2纵由韦国清担任司令员，张震担任副司令员，滕海清则在改编后的部队中担任第6师的师长。

2纵特别擅长执行阻击战术，在莱芜战役和孟良崮战役中，都发挥了关键作用。随着华野的分兵，2纵、7纵、9纵、13纵组成了内线兵团，共同参加胶东保卫战。由于13纵成立较晚，部队的战斗力尚需提高，滕海清这个老资格的师长便被调去担任副司令员，协助提升战斗力。

13纵面临的任务相当艰巨，不仅是一支新成立的部队，还要承担攻坚和阻击等重任，参与了海阳战役和莱阳战役，部队作战压力巨大，但始终坚持完成任务。

滕海清在13纵仅待了3个月便被调回2纵，这一变动令他感到有些意外。13纵的其他领导，如周志坚、廖海光、陈华堂等，纷纷前来为他送行。周志坚感慨地说：“你来得快，走得也快。你来我欢迎，你走我想留，但也留不住你。”

实际上，滕海清的调动与战略形势的变化密切相关。上级计划将华野部队分为四个部分，许世友将率领7纵、9纵和13纵组成山东兵团，继续在山东一带作战；陈士榘、唐亮则负责调配其他部队支援刘邓大军；韦国清则计划将2纵、11纵和12纵组成苏北兵团，开展华中战场的作战，确保南线的战略进攻顺利推进。此外，粟裕负责指挥1纵、4纵和6纵组建兵团，准备渡江进攻闽浙赣一带。若顺利抵达，便改编为东南野战军。

由于2纵的主要军事领导人包括司令员韦国清和副司令员张震都被调离，许多高级指挥官离开，留下的主要是参谋长和一些师长。在这种情况下，滕海清被认为是最合适的人选来接替2纵的领导职务。韦国清非常信任滕海清，亲自向他提出请求：“老滕，苏北兵团要组建，我要离开2纵。我特意把你叫回来，你我都知道，2纵是老部队，马上就要南下华中，你一定能挑起大梁。”

滕海清回到2纵并非偶然。抗日战争时期，他就在这支部队担任过旅长，解放战争初期也一直在2纵服役，担任旅长和师长。滕海清与这支部队的联系深厚，亲自对韦国清说：“放心，我一定会带领2纵继续前行。”

在接下来的作战中，2纵以其丰富的经验和强大的战斗力，表现得尤为出色。与11纵、12纵这些地方部队相比，2纵无论在作战经验还是战斗力上都更具优势。而华中地区的战斗环境与山东截然不同，尤其是华中水网地带的战斗更加复杂，部队之前在这方面并没有经验。为此，滕海清及时安排了水网地区作战的训练，确保部队能够应对这一全新的挑战。

在淮海战役中，2纵表现尤为突出，成功击溃孙良诚部，迫使敌人6000人投降。战役的第一阶段，2纵就获得了上级的高度赞扬。在后续的战斗中，2纵继续发挥其强大的攻坚和阻击能力，不断调整战术，最终在战役中成功击败了敌方的多个师，俘获了敌军3.6万名士兵。