被降职
1935年红四方面军与中央红军会合后，张国焘担任红军总政委，依旧对红四方面军的工作负责。红军三大主力会师不久，党中央便对张国焘的错误决定进行批判。当时的方针是批判张国焘的同时，肯定红四方面军广大干部的功劳和贡献，把个人的错误和群体的英勇奋斗区分开来。
根据许世友将军的回忆，当时在到达延安后，很多人都对张国焘进行批判。再加上后来西路军失败，就导致有些人看不起四方面军的同志，甚至有的人说我们是土匪。作为红四方面的军级干部，许世友内心非常生气，认为自己南征北战受了这么多的伤，就算没有功劳，怎么还有了罪？
许世友因为这件事还生病，住进了医院，随着斗争会一天天开得厉害。四方面军不少干部都前来寻找许世友，一方面是看望他的病情，另一方面则是询问他这该如何是好。一连三天，每天都有人哭，都认为在这里没有出路。
后来许世友便提出“我们回四川，那里有刘子才，他们有一千多人，又是我们的老部下。愿意去的就去，不愿意去的也不要告诉中央。”原本许世友等人的计划是4月4日夜10时出发，可是在当天下午4点，便被党中央知晓，从而果断的采取措施。
据当时“抗大”政治部主任莫文骅回忆，4月3日校党总支书记邓富连突然来寻找他，说得到消息许世友等人准备携枪逃跑。莫文骅在知道消息后，便向校长林彪反映。校长让莫文骅先回学校注意情况，然后自己向毛主席和党中央进行汇报。
莫文骅回到学校后便立刻安排保卫科同事做好布置，以防万一。林彪在向毛主席汇报情况后，便立刻返校召集刘亚楼、莫文骅、邓富连等人，宣布中央的命令，将许世友等人关押起来，防止引发恶劣后果。
当时性格倔强的许世友，便引起毛主席的注意。主席先让徐向前去看看许世友等人，给做做工作，不久后便亲自去看望许世友。第一次许世友只听不说，第二次毛主席说道：“世友同志，你打了很多仗，吃了很多苦，我对你表示敬意！”经过毛主席的劝导后，许世友便解开心结，继续开始工作。
许世友被释放后，先是在“抗大”校务部担任副部长。直到抗日战争爆发后，许世友便请求去前线带兵打仗，随后便被任命为八路军120师386旅副旅长。许世友当时的下属在得知这个任命消息后，有点为自己的司令员打抱不平，红军时期许世友就担任军长，怎么如今却成了副旅长？
许世友听到身边人的抱怨，便说道：“你知道386旅的旅长是谁么？陈赓，我红军时期的老首长，是我军的一名猛将啊。”
老首长
陈赓在红军时期，曾在红四方面军担任12师师长，下辖三个团：红34团、35团和36团。其中红34团的团长便是许世友，所以当许世友得知自己要到386旅团工作，内心不仅不生气，反而很高兴。
1931年1月许世友刚刚升任红第34团团长，便面临着国军企图分割鄂豫皖苏区的危险。商城、潢川均为国军的军事重镇，布置着敌人大量兵力。徐向前便决定主动出击，通过“围点打援”的作战方式，来歼灭来援之敌。
对商城围而不歼，主力布置在商潢公路两侧等待战机。1月下旬，敌军便集结19个团的兵力，沿商潢公路而来。陈赓所指挥的红十二师，担任正面作战任务，为兄弟部队争取迂回时间。陈赓在得到任务后，便将许世友和徐海东叫到眼前，将任务分配给他俩。
这场战役的关键是，正面作战的部队能否顶住敌人的猛烈进攻。许世友和徐海东，硬是凭借两个团的兵力，挡住了国军的进攻，为友军提供了包抄的机会。事后，徐向前便说道：“如果不是正面部队挡住敌人进攻，那么兵败如山倒的，则会是我们。”
陈赓对于许世友很器重，一有什么硬仗，头脑中第一个想到的便是许世友。当陈赓得知许世友要到386旅时，便专门召开了欢迎会，向战士介绍这位红军猛将。许世友在担任副旅长期间，配合陈赓在香城固，打出一场漂亮的伏击战。
点将许世友
正当许世友还在抗日前线默默无闻时，毛主席便想起这个“许和尚”。当时为能够壮大抗日根据地，山东便成为需要重视的地方。党中央先后将罗荣恒、徐向前派往山东进行工作。这两位都是帅才，手底下还缺名猛将。
为此毛主席便将许世友调到山东作战，并且赋予他开辟和巩固根据地的重任。1941年春，许世友便带领部队正式踏上胶东的土地，开始跟敌伪军进行作战。从1941年到1945年8月日军投降，许世友指挥部队发动大大小小的战役，一举扭转我军在胶东地区的不利形势。在日军投降前，胶东抗日武装迅速发展，根据地连成一片。
1948年9月，中央决定攻打国民党在山东的堡垒济南。对于这场攻城战役，毛主席是非常关注的，仅电报便给华东野战军发了24份。这次作战的指挥毛主席亲自点将许世友，由他担任攻城总指挥。
当时许世友还在胶东蓬莱县休养，在得知主席点名叫他指挥攻打济南。许世友也不顾自己的伤没养好，便直接坐着军用吉普车，前往设在泰安的山东兵团司令部。不过许世友也没有辜负，毛主席对他的信任，济南战役经过八天八夜的激战，最终成功拿下。