明清時期均屬多云鄉；民國二十八年（1939）屬第二區知河東西聯保；1949年屬大河岸區涼水井鄉；1952年屬第三區（大河岸）涼水井鄉；1955年屬第四區（大河岸）南家山鄉；1958年屬衛星（大河岸）人民公社涼水井鄉；1961年屬大河岸區涼水井人民公社，為第三生產大隊；1975年改第三生產大隊為南家山大隊，屬大河岸人民公社涼水井管理區；1984年改南家山大隊為南家山村民委員會，屬大河岸區涼水井鄉；1987年屬大河岸鎮至今。