1920年12月8日，马福祥在西北积极联络了包括西宁的马麒、凉州的马廷穰、甘州的马麟和宁夏新军司令马鸿宾等地方军头，最终鼓起勇气提出了“甘人治甘”的口号，联合甘军的汉族军头，一起将当时被直皖战争中皖系军阀张广建赶出西北的行动付诸实践。这一事件的关键人物便是曾在清朝末期及民国初期一度风光无限的甘军。甘军不仅孕育了马家军等一系列军阀，还曾一度成为慈禧太后等朝廷人物用来抗衡北洋军的工具。然而，在民国初年，甘军却被北洋混成旅的张广建所降服，沦为日益衰败的典型。

甘军的创始人是董福祥，他曾在西北的动乱中联合各族军阀投降左宗棠，并从清朝政府那里获得了正式的编制与军号。最初，甘军有5000多名士兵，作为湘军的分支，甘军曾参加过新疆战役以及甲午战争等重大战斗。当时，湘军的军头逐渐从历史舞台上消失，甘军逐渐获得了慈禧等高层的青睐，成为制衡袁世凯北洋新军的工具之一。甘军的兵力也迅速扩展，从最初的8个营发展到25个营，成为保护京师和直隶的重要力量。戊戌变法时，荣禄还曾亲自视察过甘军，甘军也因此在当时拥有了强大的兵力和底气，足以对抗袁世凯的北洋新军。在这种情况下，袁世凯才敢在变法过程中向慈禧告密。

真正使甘军和北洋军的关系发生裂痕的，便是义和团运动。在这场运动中，袁世凯的北洋军扮演了残忍的“屠夫”角色，而甘军却因为充满爱国情怀，积极投入其中。董福祥不仅亲自与义和团的大师兄李来中结为兄弟，而且甘军的士兵还积极参与了攻占使馆区的战斗，其中，日本公使馆的秘书杉山秋树便被甘军的士兵所击毙。在八国联军进攻北京时，甘军的将领马福禄等人也在战斗中英勇牺牲。而在慈禧撤离时，董福祥则充当了随扈，保护慈禧顺利撤退。虽然八国联军将董福祥视为战争元凶，但清廷依然力保他，最终给他施加的惩罚只是“革职永不叙用”。

接下来的八年里，甘军撤回西北，兵力也从20个营缩减为8个营，其中5个驻扎在甘肃，3个驻扎在陕西，全军由陕甘总督统一指挥。董福祥则带领两营部队返回家乡隐居，不再参与政治。与此同时，袁世凯凭借出色的政治手腕，逐渐成为官场的明星，权力不断上升。袁世凯不仅是直隶总督，还和清朝四大总督中的两位亲密无间，分别是两江总督周馥和湖广总督端方，二者都是袁世凯的亲家。这些亲戚关系使得袁世凯与满清地方的财力和资源紧密相连，为北洋军的扩张提供了有力支持。袁世凯依托这一强大的地方财力，不仅能够扩充北洋军，还在晚清通过控制淮军等系统，培养了大量的现代化部队。

尽管甘军的总兵力只有约8000人，仅为北洋军的八分之一，但它曾在清朝末年一度成为了重要的军事力量，尤其在与北洋军的较量中，甘军屡屡占得先机。辛亥革命风云变幻时，甘军也成了局中的配角。马安良曾轻视革命力量，认为西安光复不过是“几名学生闹事”，急忙扩军至10个营，但最终在西安战斗中与陕西的民军激战，直到清朝皇室退位后，甘军才停战。

借助辛亥革命的东风，甘军的兵力一度扩充至31个营，其中包括马安良等人手下的10个营，张行志扩充的16个营（包括2个炮兵营），以及崔正午领导的回族部队5个营。民国初期，甘军的总兵力达到15000人，炮兵数量为30门左右，虽然这相当于北洋军的八分之一，但也使甘军成为了西北地区的重要军事力量。

然而，随着袁世凯在1914年夺取全国政权，北洋军的兵力迅速膨胀至39万人，火炮数量达到1314门，实力远超甘军。在此背景下，北洋军老将张广建率领一个混成旅进入甘肃，试图“教育”自称总统的马安良。这个混成旅的编制虽然杂乱，但仍拥有相当强大的火力与兵力，足以让甘军只能俯首称臣。张广建的兵力几乎等同于甘军全部的火力。而在甘军内部，马安良不得不宣布下台，甘军的内部也因此发生了剧变。

到了1920年，直皖战争结束后，张广建失去了依靠，马麒等人终于鼓起勇气推翻了张广建，马家军重新登上了历史的舞台。