古山鎮清代為義和鄉廿七都，是游仙鄉的一部分。
民國時期稱古雅鎮，仙義鄉的一部分。
1949年5月成立古山鎮人民政府，1950年8月劃分為后塘鄉、世雅鄉，1958年后塘鄉、世雅鄉合并稱為古山管理區，1961年改為古山公社，1966年5月文化大革命開始，各級政府被迫停止活動。
1976年10月，恢復了公社黨委及政權組織。
1983年改稱古山鄉，1984年4月鄉改稱古山鎮但仍為鄉一級政權，1985年改為建制鎮，1992年4月金川鄉并入，2001年原古山、胡庫、方巖、新樓三鎮一鄉合并為古山鎮，設古山、胡庫、方巖、新樓四個管理處，鎮政府駐地世雅下街，2006年5月方巖、新樓管理處析出，名稱沿用至今。