1938年，日军占领祁县后，汉奸们积极为日军效力，陈赓指示干掉几个汉奸震慑败类，查玉升笑道：“交给我吧。”
1914年，查玉升出生于安徽六安，17岁的时候就加入皖西红军。因为作战勇敢，执行任务坚决，入伍后不久就入团，当年年底即入党。三年后查玉升随队参加了著名的长征，经历了种种生死考验后到达陕北。
抗日战争爆发后，红军改编成八路军，下辖三个师，分别是115师、120师和129师。查玉升被分在了129师386旅某团，旅长即是大名鼎鼎的陈赓，查玉升时任营长。
有次，陈赓亲自带队与日军进行遭遇战，不小心陷入了敌人的圈套，身边战友都被打散了，陈赓一人被几名日本鬼子追杀。万分危急的情况下，查玉升从侧翼杀出，一枪一个将日本鬼子全部放倒，陈赓化险为夷。
陈赓从此对查玉升更为器重，也着重在战场上培养他。经过一段时间的历练之后，查玉升谋略和战术进步非常大，陈赓有意提拔他为副团长。陈赓想在提拔之前再交给查玉升一个棘手任务，当面咨询他是否愿意担任特务队队长
一直以来，查玉升闻战则喜，从来不过于看重个人安危。考虑到众多汉奸给中国军民造成了巨大损失，一想起来就恨的牙痒痒，这次能亲自担任特务队队长收拾这帮汉奸，查玉升自然是举双手赞成。
此时是1938年，陈赓率领386旅主要活动于山西中部和南部一带，日军在赢得忻口战役之后，转而占领太原，向山西中部地区进发。在相继占领榆次、太谷等县之后，很快又将祁县据为己有。
驻守祁县的国民党军队一溃千里，早已望风而逃。地主乡绅一部分迅速南逃，另一部分则留了下来，举着膏药旗欢迎日军进城，沦为可耻的汉奸。
陈赓向查玉升下达了锄奸的任务，并提出了几个具体要求。务必要快，不给汉奸继续作恶的空间；务必要准，不要杀害无辜；务必要狠，要选择最有代表性的汉奸，起到很好的震慑作用。
查玉升笑道：“就交给我吧。”不打无准备之仗是他一贯的作风，事实上，在陈赓正式下达命令之前，他就对祁县的汉奸划分了三六九等。他对于哪些是作恶多端的带头者，哪些是跟风的，哪些是摇摆的，心里面一清二楚。
枪打出头鸟，查玉升将首要目标定在了祁县维持会会长身上。这个人是当地有名的大户人家，黑白两道通吃，日军没来时就鱼肉乡里，欺压百姓，日军一到来立即俯首称臣，成为鬼子在当地的代言人。
不仅如此，该人在日军进城的过程中，杀了几个进步青年，作为向日军的投名状。对于这种可耻的民族败类，查玉升是恨之透骨。他召集手下骨干，制定了周密详细的锄奸计划。
为了保险起见，查玉升在群众中安插内线，混入维持会长家中做杂工，对其日常起居、居住人员、家中打手等情况有了充分的了解。
查玉升派遣了4名得力干将，在某天深夜从房顶上进入了维持会长家中。他们用迅雷不及掩耳之势将房门用刀劈开，维持会长在睡梦中被惊醒，随之几刀砍了过来，迅速毙命。
4名战士将事先准备好的条幅放在了维持会长的卧室之中。条幅上书六个大字“汉奸可耻下场”，条幅的右下角还留有落款“查玉升”。把条幅放置妥当后，战士们迅速撤离。
日军对维持会长深夜被刺杀极为恼怒，他们得知是查玉升所作所为，气急败坏向八路军驻地进攻。陈赓早已料到了这一点，精心布置好了埋伏，打得日本鬼子丢盔弃甲，落荒而逃。
有人劝查玉升趁着形势紧张赶紧避避风头，毕竟日军中也有很多特务高手，专门做暗杀之类的事情。查玉升却摆摆手说：“躲是躲不了的，此时最危险的地方反而最安全，必须抓紧时间再教训几个大汉奸。”
在查玉升的得力指挥和亲自部署下，特务队又将祁县及附近几个恶贯满盈血债累累的大汉奸彻底清除掉。每次在杀掉汉奸之后，都会留下写有“查玉升”的条幅或者纸条。
“查玉升”几个字成为汉奸们挥之不去的噩梦，他们本以为投降日本鬼子就能带来作威作福的生活，这下可好，好日子没有享受几天，很多人纷纷毙了命，暂时没死的每天也都心惊胆跳，惶惶不可终日。
在这种高压态势下，一些尚有良知的汉奸主动向八路军投诚，并将日军的一些情况作了详细汇报，有的还反戈一击，加入了抗日队伍。
特别是祁县被服厂厂长，本以投降日军，在查玉升的威慑之下反水向八路军提供军服，为我军解决了入冬后的燃眉之急。
建国后，查玉升被授予少将军衔，后来又在对越自卫反击战中立下卓越功勋。
1998年查玉升因病去世，死后人们在他的遗骨中发现了十几颗子弹。查玉升做出的突出贡献，人们将永远铭记。