话说那年清朝末年，义和团运动一败涂地，沙俄兵临城下，把东北三省占为己有。清廷无能，东北无主，各路英雄豪杰，纷纷起兵自立，争夺一方天下。其中有一位张作霖，人称“张小个子”，身材矮小，胆子却大，手下有五百多人枪，驻扎在八角台，自称“保险队”，其实就是土匪一伙。
他们所谓的“保险”，就是向周围的村庄收取费用，保证不打不抢，不然就是杀人放火，无恶不作。这张作霖也不是一般的土匪，他有着一身的本事，和各路土匪斗了不知多少次，从不落下风。
有一次，他遇到了一个势力很大的土匪头子，名叫海沙子，手下有千把人枪，还有辽西第一大匪杜立三做后台，想要吞并张作霖的队伍。张作霖一看，自己不是对手，就想了一个计策，跟海沙子说：“咱们都是江湖人，不如用江湖规矩，你我单挑，赢了的人，就是两方的老大。”海沙子听了，心想这张小个子不过是自不量力，想要借此保住性命，就答应了。
于是两人约定在一片空地上决斗，各自拿着一支枪，同时开火。谁知道张作霖枪法高超，一枪就打中了海沙子的脑袋，海沙子应声倒地，死无全尸。张作霖却只是手臂受了点伤，没什么大碍。这一下，海沙子的部下都投降了张作霖，连海沙子的二架杆汤玉麟，后来的热河省主席，也成了张作霖的手下，张作霖的势力一下子壮大了许多。
从此，张作霖的名声大震，成了辽西四大土匪中的“北霸天”，东北的土匪们都知道有这么一个“张小个子”，不可小觑。
张作霖虽然有了这么多人马，但他心里却不甘心做土匪，他想要“漂白”，做一个正经的军人。
他常常对手下说：“枪杆子不认官与民，土匪做大了，就是皇帝。”
就在这时，清政府也看到了东北的乱局，想要收复失地，但是自己的军队又不堪一击，于是就想出了一个主意，就是招安土匪，让他们去打土匪。
于是，清政府在东北地区大张旗鼓地招兵买马，只要是有枪的，都可以入伍，不问来历。这正好给了张作霖一个机会，他想，既然如此，不如趁机投靠清政府，既可以保住自己的队伍，又可以名正言顺地做军人。
于是，他就带着自己的人马，找到了八角台的地方士绅，让他们给自己作保，向清政府请愿。清政府一看，这是一个有实力的土匪，就很高兴地收编了他，给他封了一个巡防马步游击队管带（营长）的官职，让他去巡防边境，剿灭其他的土匪。
这样，张作霖就开始了他的正规军生涯。张作霖虽然已经是官了，但他还是不忘了自己的江湖本色，他对上面的官员，都是恭恭敬敬，表面上听话，实际上却是暗中行贿，送上大把的金银财宝，都是他从土匪那里抢来的。
比如，他曾经一次就送给了奉天巡警总办张锡銮两万两白银，让他对自己另眼相看。而对于自己的部下，他却是严格要求，不断扩充兵力，加强训练，建立起一支忠心耿耿，战斗力强的军队，只听他的号令，不听别人的指挥。
张作霖这样做，自然也惹来了一些麻烦。有一次，他的队伍驻扎在新民府，和当地的日本兵发生了冲突，结果张作霖的两名部下被日本兵打死了。
张作霖听说了，气得要命，就带着人马，找到了日本兵的营地，要求日本兵的军官，把杀人的凶手交出来，给他一个说法。
日本兵的军官却不肯，说他们是在正当防卫，只愿意赔偿1000两白银，就当了结了。张作霖一看，这日本兵太嚣张了，但是他也不好当场发作，就装作答应了，拿了1000两白银，回到了自己的营地。回到营地以后，他就对自己的部下说：“你们听好了，现在就给我上街去，找到三个日本兵，给我打死他们，不要留活口。”
他的部下一听，都是一阵兴奋，就拿着枪，冲上了街头，很快就找到了三个日本兵，一顿乱打，把他们都打死了。这一下，日本兵的军官就急了，带着人马，找到了张作霖，要求他把杀人的凶手交出来，严惩不贷。
张作霖却是一脸的冷笑，说：“你们日本人不是说，500两银子一条命吗？我这里有1500两银子，你拿去吧，就当了结了。”日本兵的军官一听，气得要吐血，但是又无法跟张作霖动手，只好拿着银子，灰溜溜地走了。
后来，日本人向清政府投诉，清政府也不敢得罪日本人，就责令张作霖的队伍离开新民府，去其他地方驻扎。
那时候，日本和俄国为了争夺东北的土地，打得不可开交，就是我们说的日俄战争。这场战争打得东北人民苦不堪言，但是张作霖却从中看到了商机，他先是暗中给俄国人送去粮草弹药，赚了不少钱，后来又被日本人抓住了，差点儿没了命。
于是他又跟日本人说，他愿意为他们做眼线，打探俄国人的消息。这样一来，他就从日俄两边都捞了好处，他的部队也越来越壮大，从一开始的五百多人枪，发展到了马步五营，他自己也被封了五营统带（相当于团长）的官衔。
日俄战争打了一年多，终于结束了，清政府这才想起来要收拾东北的局面，下令剿灭那些土匪武装。张作霖因为是从土匪转正的，对土匪的行事作风非常熟悉，所以被派去剿匪。张作霖也不负众望，他先是打败了辽西的田玉本，把他的部下都收编了，然后又用计谋捉住了东北最大的土匪杜立三。
这个杜立三可是个大魔头，他祖祖辈辈都是土匪，手下有上千人马，横扫辽河两岸，无恶不作。他还贪图金钱美色，把辽河的船只都控制了，谁敢不从，就是杀无赦。
这样一个老牌土匪，张作霖怎么能跟他硬碰硬呢？
他就跟杜立三说，清政府现在招安土匪，你不如投降吧，说不定还能做个官。杜立三听了，心里一动，就跟着张作霖去了他的营地，想要招安。谁知道这是张作霖的圈套，他刚一进去，就被汤玉麟等人给抓住了，当场砍了头。
杜立三死了，他的部下就乱了，张作霖的部下张景惠等人趁机攻进了杜立三的老窝，把他的部下都打散了。这样一来，沙俄和日本人都没能消灭的杜立三匪帮，就被张作霖一下子解决了。
除了杜立三以外，还有一些叛匪，他们是被沙俄收买的，他们在漠北草原上抢劫杀人，残害百姓，非常凶恶。他们人人都有双马，跑得飞快，清军追不上，反而被他们打得落花流水。清政府就把张作霖调到了郑家屯（今辽宁双辽县），让他去对付这些叛匪。张作霖一到那里，就组织了一些骑兵，只要发现叛匪的踪迹，就不停地追杀，不给他们喘息的机会。经过一年多的苦战，叛匪终于被消灭了，有的被张作霖抓住了，砍了头，有的被张作霖追到了草原上，死在了马下，只有少数的叛匪逃到了外蒙古去了。因为剿匪有功，张作霖又升了官，被任命为奉天巡防营前路统领（旅长）。