先秦時期，屬濊貊之地。
西漢、魏晉及南北朝前期屬北夫余之地。
隋唐時期為靺鞨里水部之地。
遼金時期屬上京會寧府東北境。
金貞佑三年（1215）有副都統設置，天泰七年（1221）有“奪與古阿謀克”管理，明代永樂四年設亦瑪刺（山）衛（即驛馬山），清代中興鎮（巴彥鎮）已具規模，清咸豐九年（1859）設中興鎮（今巴彥鎮），同治元年（1862）巴彥蘇蘇地方設呼蘭廳理事同知衙門，是黑龍江區域第一個設民官的地方，為巴彥建治之始。
光緒三十年（1905）改設巴彥州。
1913年改為巴彥縣，屬黑龍江省綏蘭道，1932年隸屬偽黑龍江公署，1934年改屬偽濱江省，1945年8月解放，11月5日成立巴彥縣，屬濱江省直轄。
1946年1月屬松江省哈北專員公署，1954年歸屬黑龍江省直轄。
1956年3月屬綏化專員公署，1960年4月屬哈爾濱市，1965年6月屬新松花江專署，1996年11月隨松花江地區專署并入哈爾濱市管轄，名稱沿用至今。