1972年的一天，叶帅在西郊的宾馆接见了廖汉生，而叶帅之所以会见廖汉生，主要是因为毛主席嘱咐的。叶帅询问了廖汉生身体情况，然后就将其安排去了总医院进行治疗。然而廖汉生忙碌惯了，如今让他闲下来，多少不习惯，他想要立刻投入工作中，于是叶帅就将其安排在了军事学院中，担任政委一职，并且与宋时轮搭档，这也是他的老战友了。
1975年春天的一天，廖汉生还有宋时轮一起去了叶帅的家里，叶帅对廖汉生说，中央可能要将他的职务进行调换了，在这之前，廖汉生就已经听说了自己要被调换职务，还没有等廖汉生问出口，叶帅就说要将他调到南京军区。
既然能够回到部队工作，廖汉生自然是非常高兴的，毕竟之前他与战士们一起在战场上拼杀，建国后，他离开了部队，一直在军委，还有科学院工作，这让廖汉生也希望能够回到部队。这次会面廖汉生知道了自己的工作需要调度，另外还明白了杨尚昆也被解救了出来，这让廖汉生非常的高兴，虽然不清楚杨尚昆在哪里工作，不过有了叶帅的话，他也放心了不少。没几天，关于廖汉生被调到南京军区的任命书送到了他的手里，然后他就成为了军区的政委，还有党委。
到了2月19日，叶帅还专门接见了廖汉生，并且给他做了一些工作上的指示，这让廖汉生感到非常的安心与温暖，有了叶帅的关怀，他对部队的工作就更上心了。在他临走之前，军事学院还为他举行了欢送会，虽然粟裕身体不好，可是他依旧参加了欢送会，并且在会议上还发表了讲话，这让廖汉生更加的感动。
在廖汉生还没有到达南京，该军区的司令丁盛，以及政委彭冲就直接来到了北京，对廖汉生的到任表示了欢迎，还说非常高兴与他搭档。与丁盛能够再度搭档这让廖汉生非常的高兴，毕竟两个人是老相识了，在红军时期，两个人就曾搭档过，这对于廖汉生来说是值得珍惜的时光，如今他们再次相聚，廖汉生特别激动。
彭冲与廖汉生的交情也非常的深厚，所以廖汉生去南京工作，根本就没有什么压力，并且还能够很好的开展工作，然而作为南京军区的首席政委张春桥对廖汉生可是没有什么好脸色，廖汉生也听说过，在许世友担任南京军区司令的时候，就对张春桥没有什么好感，甚至还讽刺他就是表面工作做得好，但是如果打仗了，一定是第一个逃跑的。
最初来到南京的时候，廖汉生就发现了问题，因为军区的领导都在家里办公，所以重要的文件就需要让秘书送到家里，然而军区领导的家太分散了，这就会耽误时间，所以廖汉生就针对这个事情提出了自己的意见。
他觉得军区的领导如果不在军区办公，将文件送到家里，一是耽误时间，再就是文件的保密性不好，容易被泄露，还有就是各个领导之间也不好交流意见，所以他就要求所有的军区领导都需要在军区上班。
廖汉生在制定好规则后，他就带头执行，每天都会早早地来到办公室，只要是什么工作他都会在办公室里忙完，从来不会将文件，还有一些机密带回家。廖汉生在解决了领导作风后，他又开始整顿部队里的纪律，就这样部队在他的领导下，逐渐步入正轨，并且还都有了不小的进步。
1976年6月底，廖汉生知道毛主席病重了，可是一直都没有北京方面的消息，这让廖汉生非常的担心，他曾经给叶帅提议调兵去北京。然而，叶帅却觉得这样做会打草惊蛇，所以让廖汉生静观其变，应对之后的每个突然事件。