奉系军阀是北洋政府时期与直系、皖系齐名的三大军阀派系，其形成的时间和背景与其他派系军阀相同，但奉系形成的具体环境和过程却与其他各派完全不同。
民国军阀不是清军武官，就是受过现代军校教育的新军人，唯独奉系不仅首领出身绿林，领导集团核心人物也大多有土匪经历，如张景惠、张作相、汤玉麟等。
甲午战败后，东北地区门户大开，清政府在东北的基层政府几乎瘫痪，散兵游勇四处作乱，破产农民铤而走险，各路土匪、马贼蜂拥而起，这其中就包括曾在宋庆的“毅军”中当过哨长的张作霖。
为了弥补兵力上的不足，盛京将军增祺在奉天大力推行“团练”，要求各县的乡绅“就境之广狭，定段之多寡，亲督训练以为乡团”。这样在政府的倡导下，乡绅、地主为求自保，纷纷建立团练、联庄会、保险队、大团等地方武装。
1900年初，张作霖见各地保险队因为有官府和地方的支持，不用再过刀尖舔血的生活，于是在岳父赵占元的帮助下，在赵家庙建立了自己的保险队。保险队按照农民土地多寡收纳相应费用，保护本地百姓不受外来土匪侵扰。
张作霖恪尽职守，保险队纪律严明，从不勒索百姓，所以势力很快从赵家庙一带扩张到中安堡，保险区下辖20多个村庄。不过中安堡原本是金寿山的保险区，张作霖的到来必然会影响他的利益。为了夺回地盘，金寿山夜袭中安堡，打了张作霖一个措手不及。
张作霖被袭后，带着家人连夜逃到了八角台，准备投靠当地最大的保险队，冯麟阁的队伍。然而在中途遇到了八角台的团连长张景惠，两人一见如故，张景惠执意让出团练长之位。张作霖推辞不过，只得接受邀请，出任八角台团练长，张景惠为副手。
当时奉天全省兵力不足万人，不仅无力剿匪，就连保险队也无法约束。这种情况下，奉天当局只能收编各地保险队，以补充官军力量。张作霖并无反清意志，也无心啸聚山林，他认为接受清廷的招抚，成为正规军显然是最好的出路。
为此，张作霖冒险拦截了盛京将军的家眷，用重金取得了将军夫人的好感。在夫人的说动下，盛京将军将张作霖的队伍编入省防营。同其他招而复叛的土匪不同，张作霖接受改编后，一方面严格约束部队，另一方面积极配合官府剿匪。
1907年，清政府在东北设省，东三省总督徐世昌上任后，整顿军队，加大剿匪力度，先后多次派兵入蒙古剿匪，但均以失败告终。恰好张作霖协助新民府剿匪中，击毙田玉本、生擒杜立三，连续打了几个大胜仗。
徐世昌觉得张作霖是可用之才，于是命其远赴漠北。在辽南张作霖是主场作战，又有官府和百姓的支持，可谓游刃有余，漠北的情况却截然相反。最初时，张作霖的追击陶克陶胡、白音大赉“追驰千里，几近一月，卒未与匪一战，已成贼逸我劳之势”。
几个回合的失败并没有击垮张作霖，通过不断总结，情况开始好转。经过一系列艰苦卓绝的战斗，张作霖最终击毙匪首白音大贲，生擒了牙什，驱逐陶克陶胡，因此赢得了徐世昌的信任，被“以游击尽先补用并赏加副将衔”。
从“土匪”到“剿匪”，张作霖经历了九死一生，在这个过程中，重要的不是赢得了朝廷和总督徐世昌的重视，最重要的是他和他的部队经受了战争的洗礼，形成了以张作霖为首的奉系班底，为日后独占东北奠定基础。