西周時，馬鞍山地域屬吳國，春秋戰國時期，先后改屬越國和楚國，秦至西晉，均屬丹陽縣（治所今博望區丹陽鎮）。
東晉咸和四年（329年），淮河之濱的當涂縣（今安徽懷遠縣境內）流民南徙，遂于今南陵一帶僑置當涂縣，江南始有當涂縣名，但非實體縣。
永和元年（345年），江北豫州（今河南東南部，湖北東部）僑置于牛渚（今采石）。
南朝梁天監元年（502年），分丹陽縣置南丹陽郡，郡治采石。
隋開皇九年（589年），僑置于皖南一帶的當涂縣徙治姑孰城（今當涂城關鎮），此是姑孰為當涂縣城之始，并迄今相沿未變。
北宋太平興國二年（977年），設太平州，治姑孰城，轄當涂、蕪湖、繁昌三縣。
元，改太平州為太平路。
元至正十五年（1355年），朱元璋率起義軍攻占當涂，改太平路為太平府，轄縣照舊。
明清府治隸屬不變。
民國元年（1912年），辛亥革命成功，裁府留縣，當涂縣直屬安徽省，民國三年（1914年），設蕪湖道，當涂屬蕪湖道。
民國十七年（1928年）廢道，仍直隸安徽省。
抗日戰爭時人民軍隊建立了皖江抗日根據地，努力發展自己，打擊敵人。
1949年1月29日，含山全境解放。
1月30日，和縣縣城解放。
4月20日晚，中國人民解放軍發起渡江戰役，西梁山國民黨守軍潰逃，馬鞍山江北地區全部解放。
4月22日晚，馬鞍山江南地區國民黨駐軍大部逃離；4月24日，江淮軍區第五軍分區從和縣渡江到達馬鞍山礦區，進駐皖南電廠和馬鞍山分礦，當涂解放。
1954年2月，設馬鞍山鎮，隸屬當涂縣。
1955年8月，設馬鞍山礦區政府（縣級），隸屬蕪湖專區。
1956年10月12日，國務院批準設立馬鞍山市，為省轄市。
其間，當涂縣先后隸屬蕪湖專區（地區）、宣城地區。
1983年7月，當涂縣（除大橋鄉外）劃屬馬鞍山市。
2001年7月1日，撤銷向山區，將原向山區的慈湖鄉1個鄉劃歸金家莊區管轄，霍里鎮、濮塘鎮2個鎮劃歸花山區管轄，雨山鄉、佳山鄉和向山鎮劃歸雨山區管轄。
[78]2011年8月22日，原地級市巢湖市所轄含山縣、和縣（不含沈巷鎮）劃歸馬鞍山市管轄。
2012年，撤銷金家莊區、花山區，設立新的花山區；設立博望區，將當涂縣博望鎮、丹陽鎮、新市鎮3個鎮劃歸博望區管轄。