清代，南山街道地域為新安縣典史管屬地，有墩頭村、向南村、倉前村、北頭村、南山村、龍村（今名橫龍岡、南光）、龜廟村（今名桂廟）民國時期，地域初屬寶安縣第一區向南鄉、北頭鄉、南園鄉、南山鄉，后屬第一區南園鄉、南廈鄉，再后屬第一區南頭鎮。
中華人民共和國成立前屬第一區南屏鄉1949年10月，屬寶安縣蓮城十約南屏人民聯鄉。
1951年，屬第一區新民鄉、新南鄉。
1958年3月，屬南頭鄉、是年9月，屬超英公社南頭生產管理區。
1961年7月，屬南頭區南頭公社南山大隊、蛇口公社北頭大隊。
1970年，蛇口公社北頭大隊劃歸南頭公社管轄，屬南頭公社南山大隊、北頭大隊。
1975年，南山大隊劃分為南山、向南兩個大隊，屬南頭公社南山大隊、向南大隊、北頭大隊。
1979年1月，屬深圳市南頭區南頭公社。
1981年8月，屬羅湖區南頭公社。
1983年10月17日，設立南山辦事處，隸屬于深圳市南頭區。
南山辦事處自此建立。
1990年9月，南山區成立，南山辦事處改稱南山街道，隸屬于南山區。