1979年的一天，许世友正在北京开会，一位领导转告许世友，他在部队的儿子许建军，因为触犯了党纪国法，已经被捕归案。其实，这已经是两年前的事情了，但是，许世友一直不知道，因为大家都知道他脾气火爆，对违反军纪的人嫉恶如仇，所以谁都没敢告诉他。直到这次开会，他才头一次听说。
尽管事情已经过去两年了，但许世友听后还是非常震怒，脸气得铁青，大吼一声，“枪毙！一定要枪毙！”他嗓门本来就大，这一嗓子，整个会场的人都听到了。
有在场的人回忆称，“看许世友这表情，如果当时许建军在场，他肯定能掏出枪来亲自执法！”
要说这个许建军，其实是许世友三个儿子中，最不放心的一个，从许世友给他起名“建军”这件事上，就能看出，他对这个二儿子是寄托了很多美好期待的。
其实，许建军整体上还是很为父亲着想的，他并没有利用自己的身份到处牟利，当时在南京空军机关工作，最高职务也就是个团职。只能说，那时候我们的改革开放刚刚起步，很多事情都在探索之中，一些边界很容易就会被突破，许建军应该就属于这一种。据称，许建军是因为和其他几个高干子弟一起搞走私，被发现抓了起来，后来还判了刑。
1985年，许世友病重的时候，儿女们都来了，唯独少了许建军。此时的许世友已经很难说出话来，他费力地转动着眼珠，环顾病床四周，大家知道，他这是在找许建军，可惜的是，他已经有好几年没有见到这个儿子了。
作为父亲的他，在生命的最后时刻，是多么希望能再见许建军一面，但是违法了就是违法了，他不肯动用权力让儿子出来。
当许建军从青海风尘仆仆赶来的时候，面对的却是许世友的遗体。许世友带着深深的遗憾，于1985年10月走了，许建军到底没能见到许世友最后一面。
许世友一共有三个儿子，许建军是他的二儿子，要说许世友最觉得愧疚的，其实是大儿子许光。许光刚出生时，许世友正率领红军反“围剿”，两年后又参加了二万五千里的长征，因此，许光出生的时候，他并不在场。
他走后，国民党烧了他家的房屋，土地也被霸占，许光只能跟着奶奶四处躲藏，饱受惊吓。直到济南解放后，许世友留在山东军区工作，三舅李德胜从报纸上看到许世友的事迹，才带着许光从大别山区找到了济南。
这是许世友第一次见到许光，此时许光已经十岁了，他高兴得合不拢嘴。于是请三舅回大别山，把母亲接来济南与自己同住。第二年，他又让许光去当兵，并把许光送到学校学习。由于成绩优异，许光后来参加了海军，当时国家急需海军人才，因此，海军发展空间很大。
但是，到了1956年，许光为了照顾年迈的奶奶，做出了巨大牺牲，他回到老家，在新县武装部一干就是20多年，转业前还只是个副团级。
人都有七情六欲，看着与自己同期入伍的很多人，都得到了提拔，自己的职务显然有点低了，这让许光心里多少有点不平衡，毕竟，父亲拥有着很大的权力，而他还是在父亲任职的军区内，想要动一动，易如反掌。
但许世友在职时，他知道父亲的脾气，不敢去要求什么，直到父亲离职后，他才委婉的向父亲说了自己的想法，希望父亲能向有关人员打个“招呼”，让自己的职务动一动。
没想到，许世友一听就怒了，劈头盖脸的说道，“你当过几次敢死队？受过几次伤？做了什么了不起的贡献？只要你老老实实工作，干什么都是为人民服务!”
许光终于明白了父亲的心思，在父亲眼中，许世友儿子的身份，不但不会令自己沾光，反而会让父亲对自己有更高的要求。自此，他再也没提出自己的职务问题。
1992年，许光退休，以他的资历，完全可以申请离休，因为两者的待遇差别很大，但他执意退休。2012年，许光住院，他拒绝住条件好的病房，拒绝国家补助，也不准使用价格昂贵的进口药，他不希望自己被过度治疗，其实也是不想给国家和儿女添麻烦。不久，他因心肌梗塞而去世。
许世友的小儿子叫许援朝，许世友生许援朝的时候，已经46岁了，等许援朝长大的时候，许世友年事已高。
1983年，我们国家正在实行部队年轻化，许援朝担任参谋一职，才30出头的他，平时的工作表现和水平都得到大家的认可，完全有实力往上走，许世友哪怕一句过问的话，许援朝也能轻松得到提拔。
但是，许世友明知道这种情况，就是装作不知道。许援朝知道父亲的脾气，所以也从没开口，作为小儿子，他一直照顾晚年的许世友。这段时间，他完全没有高干子女的特殊待遇，也从不因为职务和待遇上的问题有什么怨言。直到许世友去世后，他才凭借自己的实力，一步步获得了晋升，一直做到副军级。
许世友不但对儿子要求严格，对孙子也是一样。他的大孙子许道昆，退伍后想求爷爷给自己在地方安排一个好点的工作。但是，许世友对他进行了严厉的批评：“你才当几年的兵？一天都没超期服役，肯定不是好兵。不是好兵，还想安排什么好工作？”
还有一次，孙子许道江因为高考没有考好，想让许世友跟南京那边的学校说一声，借读复习一年。结果许世友一口回绝了，他说道，“要靠自己下苦功，考得上就上，考不上就下下地种田。”
许世友的子女、孙子、孙女、侄子、侄女等等，加起来至少也有几十人了，他们都有一个共同的特点，那就是，从没有因为与许世友的关系而得到特殊的照顾。
作为一位高级将领，许世友深知权力是人民赋予的，不能滥用职权为家人牟取私利。因此，他对子女的教育始终坚持公正、公平的原则，不允许任何特权存在。无论是儿子还是孙子，都要靠自己的努力和实力去争取进步和发展。
在许世友的影响下，他的后代们也都秉承了正直、廉洁的家风，他们中的很多人都从事着平凡的工作，用自己的汗水和智慧为社会做出贡献，这种品质和道德，也正是许世友将军所倡导的精神遗产。