九一八事變爆發后，張甲洲動員北平的黑龍江籍同學打回老家去。1932年4月，張甲洲與同學于九公、夏尚志、張文藻、鄭炳文、張清林（張革）一行6人，化裝成商人，帶著德造20響的匣子手槍，先期到達哈爾濱，在與中共滿洲省委聯系后，開始著手組建東北的第一支抗日游擊隊。

1932年5月，張甲洲在巴彥縣鎮東鄉七馬架小學操場上成立了由200多人組成的隊伍“巴彥抗日游擊隊”。這支尚未成熟的抗日游擊隊，在張甲洲的領導下，一路破土窯、攻城鎮，收繳自衛團的槍支，打得敵人聞風喪膽，許多零散的武裝人員也紛紛過來投奔，民眾抗日熱忱空前，部隊也擴大到了600余人，還發展了騎兵大隊。

張甲洲認為民族矛盾是當下的主要矛盾，要團結全民族各階級共同抗日，并提出了建立反日大同盟的口號，創作了《反日大同盟歌》，在游擊隊和群眾中廣泛教唱。張甲洲的游擊隊軍紀嚴明，所向無敵，很快又壯大到了千余人，被改編為“中國工農紅軍第36軍”。

巴彥游擊隊是我黨創建的東北第一支人民武裝，打響了中共武裝抗日的第一槍。

后來，這支游擊隊只存在了7個月零27天便宣告解散，最終成了王明“左”傾錯誤路線的犧牲品，總指揮張甲洲和參謀長趙尚志還被開除了黨籍，但張甲洲說：“不管是否開除黨籍，我照樣生是共產黨人，死是共產黨鬼。”

1937年8月28日早晨，張甲洲在執行黨的任務時，在董老茂屯突遭伏擊中彈犧牲，年僅30歲。

1953年1月，周恩來冒雪來到東北烈士紀念館，久久佇立在張甲洲烈士遺像前：“張甲洲同志，我們又見面了。張甲洲同志，中國人民感謝你！”周總理面對張甲洲遺像三鞠躬！

張甲洲烈士于2014年9月入選民政部公布的第一批著名抗日英烈和英雄群體名錄。