唐武德四年（621）析信安縣之南川置須江縣，隸屬越州總管府衢州，為江山建縣之始；五代吳越王寶正六年（931）錢镠因縣南有江郎山，改須江縣為江山縣，屬衢州。
南宋咸淳三年（1267）遷治禮賢，改名禮賢縣，屬衢州。
元至元十三年（1276）遷舊治，復為江山縣，屬衢州路。
1949年5月6日，江山縣解放，7月1日建浙江省第三專區，屬第三專區；同年第三專區改稱衢州專區，江山縣屬衢州專區。
1954年11月15日國務院批準，撤銷衢州專區，江山縣改屬金華專區。
1985年5月15日，根據《國務院關于同意浙江省撤銷金華地區實行市管縣給浙江省人民政府的批復》〔（85）國函字68號〕文件，衢州市升為地級市，江山縣劃歸衢州市管轄。
1987年11月27日，根據《國務院關于浙江省撤銷江山縣設立江山市的批復》（國函〔1987〕187號）文件，撤銷江山縣，設立江山市（縣級），以原江山縣的行政區域為江山市的行政區域，隸屬衢州市。
名稱沿用至今。