清乾隆二年（1937），奉天旗人墾荒，此地東北0.5公里處有一顆榆樹，故得名“小榆樹”。
隸屬呼蘭城正紅旗。
清光緒三十一年（1905），隸屬南鄉一區。
中華民國時期屬三保。
東北淪陷后，改設榆林村。
1946年將榆林村和和朋來村合并設置榆林區，1949年改為第二區。
1956年并村劃鄉，設置榆林鄉。
1958年與城山、大房身鄉合并成立榆林人民公社，1966年改稱太陽升公社，1980年更名為榆林公社。
1983年，改為榆林鎮。