1949年5月，关麟征突然接到通知，要求他做好准备，将中央陆军军官学校（即黄埔军校）迁往台湾的工作。他感到措手不及，内心震惊，立即给蒋介石发去电报，列举了几条军校迁移的种种不利原因。老蒋看到电报后没有直接回应，只是表示暂时不予处理，搬迁计划就这样被搁置了下来。

关麟征之所以极力反对将军校迁往台湾，最直接的原因是他与时任台湾省主席陈诚的关系极度紧张，二人水火不容，彼此心生敌意。事实上，关麟征在黄埔一期的将领中，一直被视为蒋军的栋梁人物。他继胡宗南之后，成为第二位担任军团长和集团军总司令的人。关麟征不仅能力突出，而且擅长军事，很多人认为他有潜力取代胡宗南，成为蒋军的“黄埔第一人”。

关麟征与国民党元老何应钦的关系也较为密切，这使得蒋介石对他产生了某种猜疑。1943年，54军军长黄维因军粮问题与何应钦发生冲突。黄维愤怒之下，直接寄送了一袋发霉的军粮到何应钦的办公室。何应钦勃然大怒，立即展开调查。虽然54军隶属于关麟征的第九集团军，但关麟征对这场调查采取了冷眼旁观的态度，没有为黄维辩护。实际上，54军在陈诚的“土木系”中占有重要地位，而关麟征与陈诚的矛盾深厚，他希望通过这次事件将黄维从“土木系”中挤走，从而将54军收入自己的麾下。

黄维直率的个性导致他在调查中并未讨好调查人员，结果可想而知。陈诚得知此事后立即去找蒋介石求情，而蒋介石最终碍于何应钦的面子，采取了“和稀泥”的手段，将黄维调任军委会中将高参。为了安抚陈诚，蒋介石还调整了54军的领导，并将军长职务交给了方天，而方天随后又被任命为二十集团军副总司令。

这场风波使得关麟征的心愿破灭，同时也使他与陈诚的关系彻底决裂。与此同时，由于何应钦的参与，蒋介石对关麟征产生了深刻的戒心，令关麟征在党内的地位受到严重影响。1944年末，何应钦失去了军政部长职务，由陈诚接任，关麟征的处境愈发艰难。此后，蒋介石在昆明组建了新的陆军总司令部，并调整了军事领导架构，但关麟征仅被任命为第一方面军副总司令，相较于王耀武和杜聿明等人，他的地位显得越来越边缘化。

抗战胜利后，蒋介石一度计划让关麟征去东北担任保安司令，但最终这个职务却被杜聿明获得，令关麟征十分愤怒。1946年，关麟征被调任中央陆军军官学校的教育长，第二年，蒋介石不再兼任校长，关麟征继任成为黄埔军校的第二任校长。然而，国民党军事体系的改革让陈诚成为了参谋总长，掌握了更大的权力，关麟征的指挥权逐渐被削弱。

1948年，屡战屡败的陈诚被迫辞去参谋总长和海军总司令职务，暂时躲避风头。顾祝同接任参谋总长后，关麟征因与顾祝同关系较好，得以获得陆军副总司令的头衔，但并未实际掌管任何重要事务，仍然只是军校的领导。1949年1月，蒋介石宣布下野，李宗仁代为总统时曾考虑让关麟征接任参谋总长，但蒋介石得知后大为震怒，立即将关麟征召回溪口训斥，最后以安抚的口吻承诺任命关麟征为陆军总司令。

然而，关麟征回到成都后，蒋介石却任命了粤军元老张发奎为陆军总司令，关麟征感到自己被彻底忽视，内心极为愤怒。渡江战役后，国民党在军事上彻底失败，陈诚再次提出将黄埔军校迁往台湾。蒋介石同意了这个提议，然而关麟征依然坚决反对。此时，老蒋因战事繁忙，未能进一步干涉这项决策，黄埔军校迁移的计划逐渐搁置。

然而，到了8月，随着解放军势如破竹地推进大西南，蒋介石再度指示关麟征将军校迁往云南大理和姚安等地，并要求军校组织成立6个教导团以补充兵员。关麟征早在1947年就曾向蒋介石提出设立教导团的建议，却被蒋介石否决。如今，蒋介石因兵员紧缺，才再次想起这个提案，关麟征对此深感愤怒，直言：“老头子生怕我扩充实力，现在才想起来，已经太晚了。”

关麟征依然不愿将军校迁到云南，因此采取了拖延策略。蒋介石在多次飞往广州、成都和台湾之间时，陈诚又提出迁校的事宜。蒋介石最终决定亲自去台湾见关麟征，告诉他军校迁移的决策已定。关麟征对与陈诚共事心存抗拒，坚决表示不愿意前往台北。蒋介石理解关麟征的心情，在高雄亲自见了他，并宽慰他说，迁校的计划不可更改，但会为他安排一个职务。

这次会面让关麟征感到极度失望，他彻底对蒋介石心生寒意，不再有去台湾的意愿。回到成都不久，关麟征终于得知自己被任命为陆军总司令，但他对此完全没有喜悦，因为他深知，在这种局面下，这个职位已失去了任何实质意义。关麟征不愿继续担任黄埔军校校长，便推荐张耀明接替自己。9月初，张耀明被任命为黄埔军校第三任校长。与张耀明交接后，关麟征也没有前往陆军总司令部履职，而是主动提出辞职。在成都解放前夕，关麟征带着家人飞往香港。原本，飞机是从香港转机前往台湾的，但关麟征和家人在香港悄然离开，结束了这段颠沛流离的历史。