张俊是明朝中期将领出生在宣府前卫，通过继承世职，而当上了本卫指挥使，后通过累积战功得以被提拔为大同游击将军。弘治十二年，又因立下战功被进一步提拔为都指挥同知。
北方蒙古悍将火筛大肆入侵大同左卫，疯狂劫掠了八天之久。张俊闻讯后赶紧派兵三百向前拦截，同时派遣另外三百名士兵作为策应。而自己则亲率大部队在荆东庄一带进行守御，依河结营，成功击退了三万多余名敌军骑兵。
明孝宗皇帝为之大为欣喜，立刻将张俊提拔为都督佥事。不过后，总兵官王玺因为犯了过错而被追究，张俊由此顺理成章地过去顶替其位置。
到了当年冬天的时候，张俊被调往宣府进行驻守。在此期间一个负责在延绥督师的中官苗逵，下令要求大同、宣府两地的一些士兵去给他当作侦察骑兵使用。
针对此事，张俊认为不可以，由此得罪了苗逵，其立马跑到朝廷上去弹劾。明孝宗宽宥了但依旧要求张俊按照中官苗逵的指示去做事。
到了正德初年，北方的蒙古人大批前来劫掠，连营二十余里，来势汹汹。
身为宣府总兵官的张俊立马派遣其麾下的一些将领李稽、白玉、张雄、王镇、穆荣等五个人各帅三千人，分扼要害。
不久后，敌人的骑兵通过新开口毁墙而人，李稽赶紧带着自己的部队迎敌，白玉、张雄、王镇、穆荣等人也各自率领所部士兵在虞台岭一带进行顽强抵御。
张俊这边也赶紧带着三千人赶过去支援，结果在半路上伤了自己的脚，便让自己的兵交给都指挥曹泰去指挥。
曹泰带队到鹿角山一带的时候，惨遭敌军的包围，陷入一种十分窘迫的境地之中。张俊里面强忍伤痛，紧急征调了五千人马，带着三天的粮食，成功帮助曹泰解围。
随后，张俊又分兵前去救援李稽和白玉，他们两人最终都得以脱围而出。唯独张雄、穆荣两人因为被阻断在山涧里，难以救援，最终力战而死。
此战虽然张俊等将领奋力作战，但还是无法阻挡蒙古大军，让他们成功劫掠了万全右卫城。
战后，朝廷准备清算一些失职的将领，张俊本人因为带病救援，没有功劳也有苦劳，便得以免罪。
正德五年，张俊被提拔为代理都督同知，负责主管神威营的操练工作。到了明年六月份的时候，农民军起义领袖杨虎，带领部下连续攻破武安，掠威、曲周、武城、清河等地，成功和刘六、刘七所领导的农民起义军部队会合。
在此期间，都指挥桑玉多次战败，朝廷赶紧派遣张俊为副总兵，让其带领一千多京军前去征讨。然而，在接下来的几个月内，张俊多次征战，结果没有战败，也没有立下什么大的战功。
不久，朝廷决定调来大批边军协守，贼寇于是开始连连失败。
第二年三月份，刘六、刘七、齐彦名、庞文宣等起义军领袖或者高级将领都被朝廷军所击败，他们纷纷四散逃亡。张俊赶紧带兵过去阻击，成功立下战功。等到贼寇被彻底平定后，张俊便被成功实授为都督同知。
又过了相当长的一段时间，张俊便病逝了。