歷山歷史悠久，文化璀璨。
據史料考證，殷商時期即有村落，原名東、西莊子，后有黃氏在村南種麻地定居，形成村落，稱南麻地。
1644年始稱南麻，元至清代，南麻鎮大部為沂水縣西北區，少數為蒙陰縣北鄉。
民國時大部為沂水縣八區，少數為蒙陰縣北二區。
1944年5月，沂源縣建縣后為歷山區，1945年5月開始為沂源縣政府所在地，是全縣政治、經濟、文化活動中心。
1955年10月改稱南麻區。
1958年3月，撤銷南麻區，建立南麻鎮。
8月撤南麻鎮，建立紅旗公社，12月改稱南麻公社。
1982年7月，改稱南麻鎮。
2010年5月成立歷山街道辦事處。