西周境內有禹國及魯國啟陽、中邱等邑。
啟陽，乃今臨沂城最早名稱。
春秋末期為魯國地。
戰國后期歸楚國。
秦為啟陽縣，屬郯郡。
西漢時，為避景帝劉啟諱，啟陽易名為開陽。
元封五年（前106），在今城北白沙埠鎮境內的諸葛城置臨沂縣、即丘縣，與開陽縣均屬徐州東海郡。
東漢建初五年（80），置瑯琊國于開陽。
北魏中期，瑯琊國改作瑯琊郡。
永安二年（529），為北徐州治所。
南朝宋移郡治于即丘，有臨沂、開陽二縣。
隋大業初年（605），將開陽、臨沂、即邱3個縣合并為臨沂縣，治今臨沂城。
唐武德四年（621年），在今郯城縣褚墩鎮西南部之蘭山腳下置蘭山縣，武德六年蘭山縣撤銷，轄境并入臨沂縣版圖（據《方輿紀要》）。
北宋時，屬沂州瑯琊郡。
爾后金、元、明、清幾朝，皆沿用沂州之稱。
明初，臨沂縣撤銷入沂州（即以州代縣）。
清雍正十二年（1734），沂州改稱府，府治周圍地區設縣，名為蘭山縣。
民國二年（1913）沂州府撤銷，蘭山縣恢復臨沂縣之稱。
新中國成立后，臨沂縣于1958年12月至1963年3月期間改稱臨沂市，后又稱為縣。
1983年9月，國務院批準恢復臨沂市，為山東省轄縣級市。
1994年12月17日，國務院同意原縣級臨沂市撤銷，其原轄行政區域內設置蘭山區、羅莊區、河東區3個縣級行政區。
蘭山區轄蘭山、金雀山、銀雀山3個辦事處，義堂、大嶺、南坊、棗溝頭、白沙埠、半程6個鎮，李官、朱保、馬廠湖3個鄉。
1997年3月，馬廠湖撤鄉設鎮。
2001年6月，大嶺鎮撤銷，所轄38個行政村并入蘭山辦事處。
2002年1月，蘭山辦事處、銀雀山辦事處、金雀山辦事處分別改稱蘭山街道辦事處、銀雀山街道辦事處、金雀山街道辦事處。
3月，朱保、李官撤鄉設鎮。
截至2002年12月，全區下設3個街道辦事處，8個鎮。
2003年1月，撤銷南坊鎮，設立南坊街道辦事處。
截至2003年12月，全區下設4個街道辦事處，7個鎮。
2011年1月經山東省人民政府批準，將費縣新橋鎮、方城鎮、汪溝鎮劃歸蘭山區管轄。
2011年8月經山東省人民政府批準，撤銷朱保鎮，將其原行政區域并入義堂鎮；撤銷新橋鎮，將其原行政區域并入方城鎮。
截至2022年3月，全區下設4個街道，8個鎮。