大明崇祯十七年(即清顺治元年,公元1644年),趁中原大乱之际,清朝入关成功,迅速控制了山海关,征服了中原。清军一入关,便将关外的八旗主力带走,导致东北地区陷入了极度空虚的状态。
在此时,沙俄也开始了对大清帝国东北的侵略。实际上,早在明朝末年,沙俄的军队就已经进入了黑龙江流域,并与当地的索伦、达斡尔等部族发生过多次冲突。当时,努尔哈赤和皇太极统治的后金(满清)八旗军正处于最强盛的时期,沙俄在南侵的过程中遇到了强劲的抵抗,因此不得不暂时退回西伯利亚,等待时机。 然而,随着清军主力进入中原,沙俄看到了机会,迅速重新返回黑龙江流域,并在外东北地区建立了雅克萨等据点,试图以此为根据地,逐步蚕食东北。康熙二十二年(1683年),清军成功收复台湾,统一了全国。康熙帝有了余力关注北方,同年设立了镇守黑龙江等处地方将军职务,任命宁古塔副都统萨布素为首任黑龙江将军,驻扎在黑龙江东岸的黑龙江城(即爱辉旧城)。次年,萨布素将防线移至黑龙江西岸的新城。随后,康熙帝发动了两次雅克萨之战,成功驱逐了沙俄的势力,并通过签订尼布楚条约,正式确认了中国对外东北和库叶岛的主权。经过这两次雅克萨之战,沙俄的南侵步伐被迫停滞,但考虑到东北的战略重要性,康熙帝依然保持了在东北地区的军事力量,以防止沙俄再度侵扰。康熙三十八年(1699年),萨布素受命移防齐齐哈尔。此后200多年,黑龙江将军一直驻防齐齐哈尔,并设立了多个副都统,成为清朝在黑龙江地区的最高军政长官。 黑龙江将军的辖区地理位置十分特殊,成为了大清帝国的北大门,也是阻止沙俄南侵的防线。在第二次鸦片战争期间,清朝深陷太平天国战争和外部英法联军的侵略,沙俄趁机以恐吓和武力方式侵占了外东北和库叶岛,并长期进行侵略渗透。光绪三十一年(1905年),程德全成为最后一任黑龙江将军,且是唯一一位汉人出身的黑龙江将军,他在任期内尽力维持局势,并与沙俄进行周旋。光绪三十三年(1907年),清政府仿效内地的做法,在东北地区设立行省,废除了黑龙江将军一职,改设黑龙江行省,程德全被任命为黑龙江巡抚。至此,黑龙江将军这一职务正式退出历史舞台。