清光緒二十九年（1903），中東鐵路建成通車，于此設(shè)山市站。
1913年，隸屬寧安縣自新鄉(xiāng)管轄。
1933年屬第五區(qū)，為山市保。
1939年改設(shè)山市村。
1946年8月劃歸新海縣，隸屬山市區(qū)。
1948年8月，新海、五林兩縣合并為海林縣后，仍隸山市區(qū)，1949年10月改稱第八區(qū)。
1956年3月撤銷海林縣，劃歸寧安縣，同年5月設(shè)置山市中心鄉(xiāng)。
1958年1月改稱山市鄉(xiāng)。
1958年9月，并入橫道河子人民公社。
1962年10月，劃歸新恢復(fù)的海林縣管轄。
1964年5月，從橫道河子公社劃出，成立山市人民公社。
1984年4月，撤銷山市公社改設(shè)山市鎮(zhèn)。
名稱沿用至今。