新中国在建国初期，并没有立即授予军衔。主要原因是国家刚刚成立，面临的困难和问题非常多，需要解决的事情还很复杂，直到1955年，才开始进行大规模的军衔授予。 在这次授衔中，甘祖昌被破格提拔为少将。令人奇怪的是，尽管他刚刚被授予少将军衔，但没过多久，他便提出了辞职。起初上级并未批准他的请求，甘祖昌于是连续两年写辞职信，最后终于得以成功辞职，回到家乡成为一名农民。

很多人都对甘祖昌产生了疑问：为什么他会被破格提拔？他为什么选择放弃少将的职位而回到农田？为什么他要花上两年时间才终于得以辞职？这些问题至今仍让人感到困惑。 甘祖昌是江西人，江西作为革命的圣地，培养了许多革命先烈。甘祖昌自1927年便加入了共产党，是党内资历较深的党员。不过，由于他一直没有参与前线作战，因此也没有太多机会立下赫赫战功。然而，他能被破格提拔，主要还是因为他在新疆地区立下了显赫的功劳。 1949年，新疆解放后，陶峙岳从国民党起义，向驻新疆的司令王震反映，部队的粮食快要跟不上了。王震当时笑着说：有甘祖昌在，粮食问题就不成问题！甘祖昌不等上级指示，立刻带着几十名调查员开始实地调查。一个月后，他们的调查结果表明，新疆并不缺粮，只是当地百姓不愿意将粮食卖给国民党。原来，国民党在新疆的日子并不好过，另一个原因是他们没有与牧民进行羊毛交易，导致牧民也不愿意向他们出售粮食。于是，甘祖昌想到了一个解决办法，他与苏联大使馆取得联系，安排苏联商人来新疆收购羊毛，牧民卖了羊毛之后便愿意将粮食卖给解放军。 然而，1952年，甘祖昌在外出视察时发生了车祸，造成了脑震荡的后遗症。从那时起，他便开始感到身体不适，虽然他一直坚持工作，但在1955年授衔后，中央准备对他进行进一步重用时，甘祖昌却主动提出辞职，认为自己因为身体原因，已经无法继续为国家做贡献了。 在连续写了两年的辞职信后，甘祖昌终于如愿回到了家乡，开始了他向往已久的农民生活。甘祖昌一直以来都不看重名利，在江西吉安进行调查时，他曾因衣着朴素、显得有些疲惫，遭到宾馆服务员的拒绝。当时，几位穿着中山装的人顺利入住，他便忍不住问服务员原因。服务员不予回应，甘祖昌于是打电话叫来了吉安地区的专员，才得以入住。事后，专员准备开除那个服务员，但甘祖昌拦住了他，仅对其进行了教育。 回到农村后，甘祖昌依旧没有放松对家乡的帮助。他运用自己当年在南泥湾开荒的经验，教导村民如何种植。甘祖昌曾是八路军359旅的军部长，在抗日战争时期为南泥湾开荒做出了巨大贡献。在他的带领下，整个村庄的农民都充满了干劲，仿佛回到了那个艰苦奋斗的南泥湾时期。虽然他已经不在军队，但由于曾为新中国做出过贡献，再加上受伤，中央每月仍然向他提供补贴金。 这些钱，甘祖昌不仅自己使用，还用来帮助村民修建桥梁、水库，并且建设了发电厂，极大改善了家乡的面貌。至于他的女儿，最初曾希望参军，但甘祖昌劝她放弃，他表示：虽然我可以为你安排，但那些指标是为烈士的后代准备的，如果你去参军了，我们怎么办？因此，大女儿最终没能成行。后来大女儿有机会去新疆参军，但甘祖昌再一次表示：新疆招兵有计划，你一去就会打乱计划。最终，她还是没有去成。直到她在卫校学习时，部队在学校征兵，才如愿以偿地成为一名军人，完全没有受到甘祖昌的影响。