黑河市歷史悠久。
據考古證明，早在舊石器時期就有人類在此地活動，形成古代土著民族的基礎。
早在舊石器時代晚期就有古人類勞動、生息、繁衍在黑龍江流域這片廣袤的土地上。
前16世紀，居住在今黑河市北部、嫩江流域的東胡、穢貊等族居民，同商朝有過“東胡黃羆，山戎戎蓀”的貢納關系。
西周初年，居住在黑龍江中、下游的肅慎族已向周王朝貢。
三國時，屬扶余。
唐朝，黑龍江中下游屬黑水靺鞨。
開元十三年（725年），唐朝設立黑水都督府，黑水靺鞨屬之。
唐王朝直接任命長史。
貞元八年（792年），唐王朝為加強對室韋人居住地區的統治，又設立都督府。
金朝，屬上京路所轄蒲峪路。
元朝，屬遼陽行省的開元路和水達達路。
為溝通內地與黑龍江流域的聯系，建立了許多"站赤"。
明朝，設立奴爾干都司，女真、契丹均屬之。
奴爾干都司在東北地區設立衛、所、站、面、寨，黑河大部分地區屬薩哈連地面，亦稱黑龍江地面。
清康熙二十三年（1684年）10月，為了抵抗沙俄侵略者，清政府在黑龍江左舊璦琿城設置了黑龍江衙門（同時設1名將軍和2名副都統）。
康熙二十四年（1685年），黑龍江將軍衙門遷到黑龍江右新璦琿，即今愛輝區璦琿鎮。
康熙二十九年（1690年），黑龍江將軍衙門又移駐墨爾根（今嫩江市），璦琿副都統留守原城并從屬黑龍江將軍。
民國年間，黑河市大部分地區為黑河道尹公署管轄。
抗日戰爭爆發后，民國二十二年（1933年）1月25日，日本侵略者占領黑河。
民國二十三年（1934年）12月1日，成立偽黑河省。
民國三十四年（1945年）8月，黑河解放。
11月19日，成立嫩江省黑河地區行政辦事處。
11月中旬，成立中共黑河地區中心縣工作委員會。
12月14日，嫩江省黑河地區行政辦事處更名為黑龍江省黑河地區行政辦事處。
民國三十五年（1946年）9月7日，黑龍江省政府決定設立黑河地區行政督察專員公署。
民國三十六年（1947年）初，黑龍江、嫩江兩省合并為黑嫩省。
2月7日，黑龍江省黑河地區行政督察專員公署改稱為黑嫩省第五行政督察專員公署。
9月17日，原黑嫩省第五行政督察專員公署改稱為黑龍江省黑河行政督察專員公署。
1950年1月16日，黑河行政區督察專員公署改稱為黑龍江省黑河區專員公署。
1955年4月19日，黑河區專員公署改稱為黑龍江省黑河專員公署。
1967年4月9日，成立黑河地區革命委員會。
1979年2月8日，撤消黑河地區革命委員會，成立黑龍江省黑河地區行政公署。
1993年2月8日，國務院決定撤消黑河地區，設立黑河市（地級市）。