1955年3月，张爱萍从华东军区调任解放军副总参谋长。

张爱萍来到北京后，见到国防部长彭德怀时，他第一句话就问：“知道为什么调你来吗？”

“不知道。”张爱萍说。

彭德怀告诉他：“去年军委开了一个会，要搞精简整编，腾出力量搞现代化、正规化，这是一项长期的工作。调你来主抓编制体制，就是要加强这方面的力量，更好地落实军委这个决心。”

然后，他问张爱萍道：“整编是要得罪人的，怎么样，有这个信心吗？”

张爱萍回答得很干脆：“一句话，你有我就有！”

“要干，就不要怕，要大刀阔斧。从今天起，你就搬到我这里来办公。”彭德怀说。

结果，总参谋部就搬到了彭德怀办公的北海旁旃檀寺。彭德怀在六楼，总参谋部几个首长在五楼。

经过一年多的工作，精简整编终于有了方案。中央军委召开扩大会议。彭德怀指定张爱萍就陆海空三军发展的比例和重点问题向大会做一个说明。

鉴于国家经济实力和未来反侵略战争的作战指导方针，总参谋部对于三军发展的总体意见是：“陆军仍将是战场上的主体。在国家经济的现有条件下，我军应以陆军为主，在海、空军的发展上，优先发展空军。这是一个全局。”其中，陆军重点发展火炮、坦克和野战防空武器；空军以歼击机和地空导弹为主；海军以发展水面中小型舰艇和潜艇为主，然后是航空兵。这个顺序是张爱萍和粟裕、陈赓等人经过仔细研究、讨论后，报彭德怀批准的。

但是，这个总体意见在扩大会议上进行讨论时，大家意见不一，都为自己所在的军种争先后。张爱萍有些生气地说：“我们都是小米加步枪过来的，为什么离开了陆军，就不从全局出发考虑问题呢？”

他的话带有责备味道，会场没人说话，一时沉默起来。这时在座一位佩戴上将军衔的司令员冷冷地摔出一句话：“张爱萍，我看你没有后台就不敢这么硬！”

“这是什么话啊？”张爱萍顿时勃然大怒，用手指着他喊道：“那我今天就告诉你，我的后台就是共产党！”

结果，两个上将都拍了桌子。（此事见张胜著：《从战争中走来：两代军人的对话》。）

两人吵架后，当天晚上，军委整编领导小组成员、总参动员部部长王平上将来到张家，对张爱萍夫人李又兰说：“你也劝劝爱萍，他在这样的领导位置上，对别的同志说的话完全可以不去计较嘛。计较了，既伤同志间的感情，也有损自己的形象。”

（张爱萍夫妇在战争年代）

事后，李又兰向张爱萍转告王平的话，张爱萍坦诚地说：“是啊！是老毛病了，多次下决心改，总是不自觉地又犯，江山易改，本性难移啊，我一定改。”但是，他说改，以后遇上原则性的问题，还是死不让步，被称为“硬石头”，也有人说他像彭德怀，是“彭德怀第二”。

而正是这种认死理的性格，使得张爱萍在军中办事公道，深得人心，后来他还成为了共和国的国防部长。