明初劃圖治理時，為安吉縣移風鄉巽圖、震圖，浮玉鄉靜圖和翕圖的南部，以及太平鄉東片的石圖、竹圖之地域。
明成化二十三年（1487）起屬孝豐縣移風鄉。
清代鄉區劃分沿襲明代。
1918年改鄉為區，北部屬靈巖區，南部屬南嶼區。
以后，撤并頻繁。
1940年屬白水區浮玉鄉和移風鄉。
1946年撤區并鄉屬南嶼鄉和靈峰鄉,位于南嶼鄉東部和靈峰鄉南部。
1949年5月解放后沿用舊制，屬南嶼鄉、靈峰鄉；同年7月撤鄉建區屬青山區。
1950年春，建山河、大溪、水口三個鄉。
1955年，大溪鄉并入山河鄉。
1958年10月屬青山公社，分別稱山河管理區、水口管理區；是年11月隨孝豐縣并入安吉縣。
1961年8月，山河、港口、分別另建公社。
1981年11月，青山公社以駐地大隊更名為白水灣公社。
1983年5月，港口公社改稱港口鄉。
1984年1月，山河公社、白水灣公社分別改稱山河鄉、白水灣鄉。
1992年9月，山河、白水灣兩鄉合并建鎮，稱天荒坪鎮。