张作霖很快带着孙烈臣、张景惠、张作相、汤玉麟等五百人前往奉天。原本李经述打算给张作霖两千人，但张作霖说人多了反而会引起俄国佬的怀疑，就带着旧部还有五百人回东北，深入虎穴。
东三省主席徐世昌会见了张作霖，虽然他知道张作霖有任务在身，表面上和颜悦色，但他心里对李经述派张作霖来东北剿匪不痛快，觉得这是对他不信任。加上张作霖说他执行的是秘密任务，不告诉徐世昌，他更加不爽，并没有安排张作霖等人回黑山老家，而是将他派往了完全陌生的辽北郑家屯，并说那里俄国老毛子多。
张作霖二话没说，带着人马直奔郑家屯。徐世昌密电驻扎在当地的新兵团长吴俊升，对土匪出身的张作霖处处堤防，不要让他抢了功劳。
辽北原来是满清的皇家围场，解禁开垦之后，有百万垦民进入。随着垦民增多，商人也多了起来，而且很多来自俄国和日本，徐世昌在大围场设东平县、西丰县、西安县，这些都是移民县市，有点像美国早期西部，民风强悍，胡匪众多。
张作霖他们去郑家屯的路上，遇到了一个年轻漂亮的女子，骑着黑马，被四个俄国老毛子纠缠。
那俄国佬为首的是商人打扮，穿着一件黑色的俄罗斯厚皮衣，体毛很长，叽里呱啦说一些俄语。结果惹恼了那位彪悍的姑娘，只见那女子杏眼圆睁，挥舞着细长的马鞭，一马鞭抽在那位为首的俄国商人脸上，那俄国佬脸上顿时留下长长的血痕。
为首的俄国佬疼得大叫，竟然拔出毛瑟枪，准备行凶，张作霖“砰”的一枪打死了那名俄国佬，并且骑马上前呵斥：“滚犊子，你们这些不要脸的毛子，竟敢跑到我们中国人的地盘上撒野？老子见一个杀一个！”
剩下的三个人一看头目死了，张作霖他们是马匪打扮，他的枪口还冒着烟，赶紧溜了。
“多谢大哥出手相助！”被救的女子名叫做田七凤，是当地土匪田大麻子的妹妹，她见张作霖相貌气势不凡，有勇有谋，还英雄救美，便心生好感，请求一起同行。
“行，一起上路，也好有个伴！”张作霖没有多想，怕她一个人不安全，便答应了。
三天后，张作霖别了田七凤，见到了吴俊升，问他郑家屯那股匪徒最难下手，“这次我的兄弟们要在东北打出声威！”
吴俊升故意激将张作霖，说是双田洋行：“双田洋行，是日本人长田和山田两个人合开的，外表是日用品的店铺，其实是日本浪人的秘密组织，他们一直和满清的余孽勾结，妄图在东北建立伪满洲国。他们大概有600多人，每个人都有东洋造的好枪，子弹十几万发，我带一个团的新军剿杀了几次，都没成功，就看你敢不敢干。”
张作霖想一鸣惊人，便决定朝日本人的双田洋行下手，一拍桌子：“干！妈了个巴子，日本人我们怕个鸟，端了他！”
吴俊升心里暗想，这张作霖也就五百人，想都不想一来就去打日本人，还真是“虎”，料定他会失败。
没想到，张作霖却是胆大心细，没有硬攻双田洋行，而是先收买了双田洋行的一位跑堂胡介石，画出了双田洋行的地形图，图画得很清晰，那个地点有几个哨匪，都画得非常仔细。以防万一，张作霖给了胡介石一千块大洋，让他逃出山海关，到关内避难去了。
张作霖和孙烈臣、张景惠、张作相、汤玉麟等人连夜商议，制定了攻打日本人的详细计划：当时附近有个郑家坨，有个米行的老板叫郑维均，每天负责给双田洋行送大米，张作霖决定半路上胁迫郑维均，然后装成米行送米的伙计，在米车里也藏一些新兵，趁着天黑，混进双田洋行。
那天，日本洋行的看守见郑维均是老熟人，误以为这些人是来送大米的，没有仔细检查，就全放进去了。张作霖进了双田洋行，带人悄悄摸入双田洋行的主房，见到长田和山田二人，正在和四五个日本歌妓在喝酒嬉戏。张作霖一脚踹开房门，长田惊问：“八嘎，你们是什么人？”
张作霖拿着大砍刀，没有回答他的话，带人冲过去一阵乱砍，长田和山田两人还没有来得及拔刀，就被砍得血肉模糊。张作霖还按胡介石画的地图，找到日本人的弹药仓库，用手枪打折了铁链，打开仓库，引爆了日本人的火药库，并放火烧毁了双田洋行，双田洋行火光冲天，天空一片火红。
接着孙烈臣带兵强攻双田洋行，日本人群龙无首，加上忙着救火，死伤惨重，六百多人只逃走了一百多人，其余都被烧死或打死。但这一百多人逃出去后，对张作霖恨之入骨，悬赏一万两白银，要他的脑袋，欲除之而后快！
张作霖血洗日本鬼子的双田洋行，一炮打响，事情传开后，东北的土匪对他刮目相看。吴俊升此时也对张作霖刮目相看，觉得他“真是一条汉子”，两人还成了莫逆之交，吴俊升便开始对徐世昌要提防张作霖的命令阳奉阴违起来。
不久，张作霖带的土匪人马，已经发展到了两千人，经常和俄国残存的民意党人一起，跑去袭杀在铁路线和施工工地上的俄国护路军和俄国修路苦力农奴。
俄国民意党，是俄国民粹派的秘密革命组织，于1879年8月从土地和自由社中分裂而来，主要活动家有热里雅鲍夫、米哈伊洛夫、彼得罗夫斯卡娅等人，目标是推翻沙皇专制制度，经常进行密谋暗杀活动，还把暗杀沙皇