一九三七年的一天，河北阳曲县的一位老农民想找县长办事，就到了县政府大门口，警卫员听明白他的来意后，就将他带到了县长办公室，刚进办公室，老农就看到桌前坐着一位不修边幅，穿的破旧，裤脚上满是泥巴的人。在老农看来，县长这样的大官应该是白净斯文、衣着光鲜的打扮。于是，他立即略过眼前的人，打量着整个办公室，但办公室里只有这一个人，老农很惊讶，就直言询问警卫员：你不是在骗我吧，这个人穿的都不如我啊，怎么会是县长呢？谁知县长听到这话，哈哈大笑对农民说：老乡，这个不怪你，我经常被认错。这个简单朴素的县长就是潘振武，他早年投身革命，跟随我军队伍参加过不计其数的战斗，立下了赫赫功勋，在一九五五年时被授予少将，即使他身居高位，却数年如一日的节俭朴素。
建国后的一次，潘振武带着家人回乡探亲，当地的领导知道后，立刻准备欢迎仪式，大家列队欢迎潘振武回乡，哪知道车刚停稳，就从上面下来一位军装洗得褪色，脚上穿着手缝布鞋的普通老人，场面顿时就安静下来，大家都不敢确认这是不是领导。随后，潘振武作了自我介绍，乡亲们一看没有接错人，气氛这才有所缓解。县领导们为他安排了宾馆和餐饮，却都被他果断拒绝了。他说：我是探亲，不是办公，没有资格享受国家的出差待遇，但他在探亲结束时表示，如果家乡有困难，有发展需要，可以找他，只要不违背原则，他能帮就帮。
一直以来，潘振武都是对自己和家人严格要求，却对需要帮助的人慷慨解囊。他和妻子养育了九个女儿，全部一视同仁，这是一笔不小的开销。但潘振武只在精神上“富养”女儿，生活中同样要求女儿们勤俭节约。一次，他年幼的女儿让木匠做了辆玩具车，他因此大发雷霆，不仅将玩具车退回，还将女儿关了一天的禁闭。就这样，潘振武将自己的工资一分一分的省下来，听闻自己小时候的玩伴生病了，家庭困难，立即让秘书给汇了五百块钱，这在当时可是一笔巨款，但他毫不犹豫。