南朝梁時，屬難江縣。
明時，屬南江縣域。
清朝時，置桃源寺、白頭灘2場，屬崇清鄉。
川陜蘇區時期，建村，屬寨坡鄉蘇維埃。
民國二十四年（1935年），屬第一區官兩聯保。
民國二十九年（1940年），屬官兩鄉。
民國三十三年（1944年），析置桃源鄉。
民國三十七年（1948年），設桃源寺特編鄉，為鄉治所。
1951年6月，置桃源鄉。
1952年1月，桃源鄉析置槐樹鄉。
1958年9月，槐樹鄉改為槐樹公社，屬上兩區。
1966年12月，桃源更名桃園。
1984年3月，桃園公社改為桃園鄉。
1998年7月，槐樹、桃園2鄉合并為桃園鎮。
2005年3月，桃園鎮更名光霧山鎮。
2019年12月23日，撤銷寨坡鄉，劃歸光霧山鎮管轄。