七八千年前海拉爾地區就有人類繁衍生息，從事漁獵、畜牧等生產活動。
商朝時期，海拉爾地區有肅慎和東胡先民居�。晃髦軙r期，海拉爾地區有東胡先民居住，其在海拉爾河北至赫拉木圖之間還擁有上百座古墓群的文化遺存。
春秋中葉（前700年左右）以無終為首的山戎（東胡）部落聯盟逐漸形成，海拉爾地區屬于東胡勢力范圍，隨后在戰國時期，東胡勢力范圍更大。
秦漢至南北朝秦時，海拉爾地區為匈奴左賢王庭轄地。
漢時，朝廷設置烏桓校尉監護東胡遺民，海拉爾地區繼屬遼東郡西平安地管轄，且居住有東胡人、匈奴人、鮮卑人。
隨后于三國時期，海拉爾地區屬于鮮卑人勢力范圍，受魏政權監護。
隋唐至宋元隋大業八年（612年），海拉爾區境屬室韋。
[124]唐初，突厥人興起，海拉爾地區屬于突厥人勢力范圍。
而后在唐貞觀后，遼，海拉爾地區屬遼東郡西平安地上京道烏古敵烈統軍司統轄。
金時（1124年），烏古、敵烈部降金，海拉爾地區屬于金。
金泰和四年，海拉爾地區屬嶺北中書行省和林路轄。
成吉思汗九年（1214年），實行分封，海拉爾地區屬大弟拙·合撒兒封地。
元泰定元年（1324年），元朝廷令諸侯王伯顏鐵木兒出鎮闊連海子（呼倫湖）東部地區，海拉爾地區屬于其東部地區。
元至順元年（1330年），海拉爾區境屬嶺北行省齊王部地。
[124]明清時期明永樂六年（1408年），明王朝在海拉爾河流域設置隸屬于奴爾干都司斡難河衛的海刺兒（海拉爾）千戶所（轄1200戶），此也為海拉爾地區已知最早的建制。
明宣德八年（1433年），建有海刺兒千戶所和寒寒寨站（今海拉爾區境內），隸屬奴兒干都使司。
[124]清雍正五年（1727年），為“防俄實邊”，清王朝在呼倫貝爾、齊齊哈爾、墨爾根等地，陸續設置17個邊防卡倫（驛站），輪派官兵巡守。
雍正十年（1732年），海拉爾建置，清王朝從布特哈遷來索倫（鄂溫克）、達爾、鄂倫春、巴爾虎騎兵3000人，駐牧海拉爾河、伊敏河兩岸，編為八旗，設呼倫貝爾副都統官員鎮守，總理八旗軍、政，海拉爾在其統轄之內。
雍正十二年（1734年），清王朝準予黑龍江將軍卓爾海奏請，在伊敏河兩岸扎可丹（正陽街）建呼倫貝爾城（海拉爾城），后又在城內設呼倫貝爾副都統公署，海拉爾隸屬黑龍江將軍節制下的呼倫貝爾副都統公署，同時也為副都統公署所在地。
[12-13][133]乾隆八年（1743年），海拉爾屬呼倫貝爾副都統銜總管。
光緒二十九年（1903年），東清鐵路（中東鐵路、東省鐵路）全線通車，而后在海拉爾設東清鐵路交涉分居（后改為海拉爾市政分局、東省特別區海拉爾鄉政公所等，管轄滿洲里至博客圖站地段及鐵路附屬地）。
光緒三十三年（1907年），清王朝在東三省實行“民治”，廢三省將軍，設行省公署，隨后在次年裁撤呼倫貝爾副都統，設呼倫貝爾兵備道，海拉爾屬呼倫道署，行政隸屬黑龍江行省。
宣統元年（1909年），改呼倫貝爾副都統為兵備道加參領銜，在海拉爾設呼倫廳、臚濱府、吉拉林設治局。
中華民國時期1912年，蒙旗上層分子勝福等人宣布脫離黑龍江省獨立，成立“呼倫貝爾自治政府”，海拉爾除東清鐵路附屬地外一切權力轉歸自治政府。
1920年，設呼倫縣（管轄漢族事務），海拉爾區為呼倫縣所在地，屬黑龍江省。
[13-14]東北淪陷時期，海拉爾隸屬偽滿州國興安北省。
[133]1932年，偽滿洲里國成立后將興安嶺以北、以西地區劃為興安北分�。�1934年改省），撤銷了呼倫貝爾副都統衙門和呼倫縣。
海拉爾區為興安北分省省會駐地，隸屬興安北分省。
1936年，根據偽滿洲國公布的《市政管理管制》，組建海拉爾市政管理處，將海拉爾鄉政公所轄新市街（原鐵路附屬地）和海拉爾辦事處（原呼倫貝爾城）所轄一切權力合并，統歸海拉爾市政管理處。
1940年5月，依據偽滿州國第89號令，設市公署建立海拉爾市，行政管轄隸屬偽興安北省。
1945年10月，日本投降后的海拉爾市公署由成立的呼倫貝爾自治政府領導。
1949年4月，呼倫貝爾盟同納文慕仁盟合并，海拉爾市隸屬呼倫貝爾納文慕仁盟，為呼納盟政府所在地。
中華人民共和國1953年4月，撤銷呼納盟建制，成立內蒙古自治區東部行政公署。
海拉爾市被劃為內蒙古自治區直轄市，由內蒙古自治區東部行政公署代管。
次年4月，撤銷東部區行政公署，成立呼倫貝爾盟人民政府，海拉爾市隸屬呼倫貝爾盟人民政府，同時為盟人民政府駐地。
1968年1月，海拉爾市人民委員會改為“海拉爾市革命委員會”，次年8月，海拉爾市隨呼倫貝爾盟劃入黑龍江省。
1979年7月，“海拉爾市革委會”隨“呼倫貝爾盟革委會”由“黑龍江省革委會”劃回“內蒙古自治區革委會”，隸屬“呼倫貝爾盟革委會”。
1980年8月，恢復海拉爾市人民政府建制，其隸屬關系不變，隨后在2002年1月撤市設區。