新石器時代中、晚期，今錫林河水庫西側發現有人類活動遺址。
先后出土砍砸器、刮削器及石核、石片等石器，證明距今4000—6000年以前已有人類在錫林浩特境內繁衍生息，從事游獵養畜和原始手工業生產。
漢朝時期，為上谷郡北境。
晉朝時期，為拓跋氏地。
隋唐時期，為突厥所據。
遼朝時期，為上京道西境。
金朝時期，為北京路西北境。
元朝時期，屬上都路。
明朝時期，入于蒙古。
清朝時期，為蒙古阿巴哈納爾部駐地。
清康熙六年（1667年），詔授札薩克多羅貝勒世襲罔替，遣官指示阿巴嘎部移牧他所，以舊牧地給阿巴哈納爾。
棟伊思喇布掌左翼，佐領九，駐烏勒陀羅海（《大清會典》作阿爾噶靈圖山）。
色棱墨爾根掌右翼，佐領七，駐昌山（又名永安山）。
阿巴哈納爾左翼設旗，自清康熙六年（1667年）至民國三十五年（1946年），12代札薩克共執政280年。
阿巴哈納爾左翼旗廟由貝子爵管轄，故錫林浩特地區得名貝子廟。
民國二十二年（1933年），錫林郭勒盟建立偽蒙疆聯合自治政府。
貝子廟被偽蒙疆聯合自治政府控制。
民國二十七年（1938年），駐貝子廟的日本軍隊組織偽錫林郭勒盟政府、偽旗政府。
民國三十五年（1946年），內蒙古自治運動聯合會轉移到貝子廟，錫林郭勒盟分會和政府組織工作隊在阿巴哈納爾左旗改造舊政權，建立了人民民主政權，阿巴哈納爾左旗支會隸屬錫林郭勒盟分會。
民國三十六年（1947年），在貝子廟成立了中共錫（錫林郭勒）、察（察哈爾）、巴（巴彥塔拉）、烏（烏蘭察布）工委。
民國三十七年（1948年），阿巴哈納爾左旗歸中部中心旗工委。
1949年，阿巴哈納爾左翼旗劃歸錫林郭勒盟中部聯合旗；阿巴哈納爾右翼旗劃歸錫林郭勒盟西部聯合旗。
1952年5月26日，經內蒙古自治區人民政府批準，中部和西部聯合旗合并，統稱錫林郭勒盟西部聯合旗。
1953年9月15日，經錫林郭勒盟人民政府批準，貝子廟改稱錫林浩特（鄉科級），統稱西部聯合旗錫林浩特人民政府。
1956年7月3日，經國務院批準，將西部聯合旗改稱阿巴嘎旗。
同年8月21日，錫林浩特受錫林郭勒盟直接領導，鄉科級建制不變。
1959年4月15日，錫林浩特升格為旗（縣）級浩特，盟直接管轄。
1963年10月23日，經國務院批準，錫林浩特改設為阿巴哈納爾旗。
1979年12月14日，阿巴哈納爾旗的“哈”字改為“嘎”字。
1983年10月10日，經國務院批準，撤銷阿巴嘎納爾旗，改設錫林浩特市（縣級市）。