唐代時期，境域設大射戍，因系屯兵儲糧基地，遂為重鎮。
宋代時期，屬蓬萊縣沙門寨地。
明代時期，屬蓬萊縣沙門社。
清道光年間（1821年—1850年），在南長山島上設4社。
民國十七年（1928年），為長山八島民政局所轄。
民國二十三年（1934年），改社為鄉。
民國三十四年（1945年），長山島軍政辦事處撤鄉建區，南長山島各村屬廟島區；同年11月，將南、北長山自廟島區劃出建玉石區。
民國三十六年（1947年），南長山島劃為中正、中山2鄉。
1949年，成立玉石鄉。
1956年，成立長島縣，境域仍為玉石鄉。
1958年11月，長島縣并入蓬萊縣，為長島公社玉石大隊。
1963年6月，復置長島縣，改設南長山公社。
1982年，撤銷南長山公社，設立長島鎮。
1984年，更名南長山鎮。
2010年12月，撤鎮設南長山街道。