1937年七七事变后，20岁的张蕴钰参加了八路军，先到赞皇县游击队当队长，再去平汉游击大队当副大队长，干了两年游击队，又到独立团当参谋长，随后又回到游击队，被选调到晋冀豫边区游击纵队司令部当参谋，随后到7团当副团长。
1940年3月，纵队政委黄镇指挥7团把前来抢粮的鬼子和伪军打了个全军覆没，一百多鬼子和二百多“二鬼子”全“栽”在黑水河畔，成了名副其实的“鬼”。县城的大队鬼子赶来报复，副团长张蕴钰和团政委一道指挥7团阻敌。结果，这一阻击战比开始黄政委指挥的伏击战打得还漂亮。
27旅1个班长和两个战士在敌阵地前60米处，被敌火力压得攻不上去，也撤不下来，班长抽出背上的工兵锹，挖了个卧姿掩体，两个战士看见了，也动手挖，挖完卧姿挖立姿，后来挖成堑壕。后面的部队看见了，也开始挖战壕，最后和这3人接通，他们撤下来了。
张蕴钰获知此事，敏锐提出推行近迫作业，利用壕沟接敌，削弱敌人火力优势的完整设想，向崔旅长提出。
崔建功大喜，马上下令全旅照办。
随后，27旅就是用这一“新战法”拿下了小张庄。事后，中野各纵纷纷派人到27旅学习迫近作业。结果一推广，“壕沟战法”成为各部队胜敌最有效的战术，敌军望沟兴叹。
15军成立时，张蕴钰从旅参谋长升任军副参谋长，而此时15军无参谋长，他这个副参谋长实际上就是“参谋长”，他的才华得到证明，于是又升为军参谋长，成了秦基伟军长的助手。有人说，在刘邓大军中，张蕴钰是“坐直升飞机上去的”。
在15军将领中，张蕴钰确实资历最浅，但他善思慎行，颇谙韬略，而且精明强干。
提出一个“突不破”的战法，即用坑道战代替阵地战，军内持异议者甚众，张蕴钰力排众议，投了军长的支持票。
在朝鲜战争中，张蕴钰获朝鲜二级自由独立勋章。
15军从朝鲜回国后，张蕴钰升任兵团参谋长，结果他又得到3兵团司令员陈赓的“赏识”，成为他的助手。1958年8月，陈赓升任国防部副部长，召见张蕴钰说：“张蕴钰同志，军委决定在西北大沙漠搞原子弹靶场，由你来指挥这
场特殊战斗，好好搞。”