嫩江市位于黑龍江省西北部，北依伊勒呼里山，與黑龍江省大興安嶺地區呼瑪縣交界；東接小興安嶺，與黑龍江省黑河市愛輝區、孫吳縣、五大連池市毗鄰；西鄰嫩江，與內蒙古自治區呼倫貝爾市莫力達瓦達斡爾族自治旗、鄂倫春自治旗隔江相望；南連松嫩平原，與黑龍江省齊齊哈爾市轄的訥河市接壤。總面積15211.43平方公里（第二次全國土地調查數據）。
嫩江市歷史悠久。據考古發現，早在新石器時期，嫩江流域就有人類活動。嫩江市臨江鄉多金村和多寶山鎮臥都河江口一帶，都有“細石器文化”分布。先秦時期，屬穢貊，為其北境。兩漢、魏晉南北朝時期，為夫余屬地。隋代，屬室韋地域。唐代，屬河北道室韋都督府嶺西部。遼時期，屬東京道室韋王府。金時期，屬上京路蒲峪路。元代，初為乃顏封地，中為蒲峪路屯田萬戶府，后屬遼陽行省開元路。明代，屬奴兒干都指揮使司。明永樂七年（1409年)，在今市城區置木里吉衛。明正統十四年（1449年)，在今嫩江市伊拉哈鎮展望村置亦力克衛。清代初期，屬盛京總管轄地。清順治十年（1653年)，改屬寧古塔昂邦章京(1662年改稱寧古塔將軍)。清康熙二十二年（1683年)，改屬黑龍江將軍。
清康熙二十五年（1686年)，筑成墨爾根城(今嫩江市城)，始設邑。清康熙二十九年（1690年)，黑龍江將軍自黑龍江城(今黑河市愛輝區璦琿鎮)移駐墨爾根城。清康熙三十三年（1694年)，又自黑龍江城移來副都統一員與黑龍江將軍同駐墨爾根城。清康熙三十七年(1698年)，墨爾根副都統移駐齊齊哈爾城，翌年黑龍江將軍亦移駐齊齊哈爾城，留協領駐墨爾根城。清康熙四十九年(1710年)復設墨爾根副都統。清光緒八年至二十年(1882—1894年)，曾在墨爾根副都統轄區內的小興安嶺西麓太平灣(今嫩江市塔溪鄉塔溪村興安城屯西1公里)另設興安城，置副都統銜總管，直屬于黑龍江將軍。清光緒三十三年(1907年)，裁黑龍江將軍，改設黑龍江行省，墨爾根副都統歸其管轄；翌年，裁墨爾根副都統，改設嫩江府。1913年，東北各省改革行政建制，裁嫩江府，始設嫩江縣，歸屬黑龍江省龍江道。1929年，廢道制，改為黑龍江省轄之三等縣。1933年1月，嫩江縣淪陷。1934年(偽康德元年)12月，劃歸偽龍江省。1937年(偽滿康德4年)6月，改屬偽北安省。1943年(偽滿康德10年)10月，又改屬偽黑河省。1945年8月12日，嫩江縣獲得解放。是年11月，建立地方人民政權，歸屬嫩江省。1946年4月，嫩江省增設嫩北行政區，三月后改稱第二專區，嫩江縣為其轄縣。1947年2月，黑龍江省與嫩江省合并稱黑龍江嫩江聯合省(簡稱黑嫩省)，是年9月恢復兩省建制，嫩江縣先后歸屬黑嫩省、嫩江省。1949年5月，黑龍江省與嫩江省再次合并稱黑龍江省，遂歸屬黑龍江省。中華人民共和國成立后，仍屬黑龍江省。1954年8月，黑龍江省與松江省合并定名黑龍江省，增設嫩江專區，歸屬黑龍江省嫩江專區。1960年5月，嫩江專區并入齊齊哈爾市，遂屬黑龍江省齊齊哈爾市。1961年10月，再設嫩江專區，復屬嫩江專區。1970年3月，改屬黑龍江省黑河地區（今黑河市）。2019年7月12日，經國務院批準，民政部批復同意撤銷嫩江縣，設立縣級嫩江市，以原嫩江縣行政區域為嫩江市的行政區域，嫩江市由黑龍江省直轄，黑河市代管至今。