1278年屬新會縣龍溪鄉。
民國時期，屬新會縣第四區，稱潮連鄉。
中華人民共和國成立后，屬新會縣第四區，稱潮連鄉。
1958年，成立潮連人民公社，芝山鄉改稱芝山大隊。
1977年，潮連公社從新會縣劃歸江門市郊區，仍稱芝山大隊。
1983年，撤銷潮連公社設潮連區公所時，改為芝山鄉。
1988年，潮連區公所改鎮，稱芝山管理區。
1998年，芝山管理區改名為芝山村民委員會。
2002年，屬江門市潮連街道，2005年，改稱芝山社區居民委員會，沿用至今。