1963年，杜平从沈阳军区副政委的位置调任南京军区政委，并且是七位政委中的排名第七。当时的南京军区设有七位政委，增添一名会不会显得多余呢？实际上，在这七位政委中，有四位同时担任上海、江苏、浙江和安徽的主要书记，而在军区内工作参与日常事务的仅有三位。此外，第二政委唐亮的健康状况不佳，军区的日常运作需要萧望东和杜平共同负责。因此，随着唐亮和萧望东在1964年和1965年先后离休和调离，杜平实际上成为了该军区工作的主要负责人。

到了1974年，他在工作中接到了来自各方的批评与指责，长期的工作压力让他感到极度疲惫，最终因心脏病被送入医院。令他意外的是，一个月后收到了通知，称他被免去了省委书记、军区政委以及军区党委第三书记的职务。官方的说法是因为他的健康问题，待他病好后会再作安排。对此，他也无奈，只能服从这突然的命令。

他的儿子在回忆录中提到：早有人希望他辞去职务，但之前一直缺乏有力的理由。这一次恰逢他生病，某些人便借此机会向上级提出免去他的职务。有了职务上的变动，杜平只能先是在医院静养，日常散步和写作，身体状况逐渐好转，但他的心情却始终阴郁。在当时复杂的情势下，他不仅仅在思考个人的命运，还在为整个国家的未来感到忧虑。在这几年的赋闲日子里，他鲜少出现在公开场合，外出活动也都是清晨早起散步。儿子回忆说，杜平满脸愁苦，心中布满焦虑。

然而，话说回来，虽然他赋闲在家，但也因此避免了某些复杂事务的纠缠，免于受到批评，所需工作的减少也使他的身体状况有所好转。1977年，杜平的身体复原得多了一些，前往北京做体检时，偶然遇见了总政部副主任梁必业。他认为杜平的健康状态良好，建议上级将他调任至福州军区担任政委。福州的气候十分宜人，杜平对此表示愿意考虑。在与叶帅见面时，叶帅询问他有什么要求，杜平便表达自己在南京军区生活工作了十多年的愿望，希望能继续留在原地。于是，他又被任命为军区政委，恢复了原职。

然而，此时上级已经指定廖汉生为军区的第一政委。廖汉生于1975年从军科院调任政委，而当时杜平已经处于赋闲状态。历经两年，军区司令员更换为聂凤智。但或许是出于身体健康无法承受高强度工作的原因，1980年，廖汉生被调往沈阳军区之后，上级又将新疆军区的司令郭林祥调任为第一政委，而杜平依然保留政委的职务。直到1982年，伴随着干部年轻化的政策以及准身体原因，杜平最终选择离开一线工作。