宋時甘霖鎮屬桃源鄉。
清康熙時稱兩頭門鎮。
宣統三年(1911)實行地方自治制,甘霖與蒼巖合稱為霖蒼鎮。
民國元年,霖蒼鎮下轄桃源、白鶴、方升、平義四區,甘霖屬桃源鄉。
1946年甘霖從桃源鄉分出為甘霖鎮。
1956年以甘霖吳家田村建制甘霖鎮,1958年為甘霖人民公社桃源管理區;1961年為桃源人民公社;1981年1月經省人民政府批準設建制鎮,1992年撤區擴鎮并鄉,原剡北普義,蛟鎮鄉并入甘霖鎮。
2001年12月原博濟、蒼巖與甘霖合并為甘霖鎮。