春秋屬晉，為霍人邑，戰國屬趙稱藿人。
秦屬代郡，西漢建莜人縣（漢晉之繁峙在今渾源、繁峙縣境），東漢廢。
晉復稱莜人縣，屬雁門郡，后廢，繁峙來治，北周廢。
隋開皇十八年（598）設繁峙縣。
金貞祐三年（1215）改稱堅州，元因之。
明洪武二年（1360）廢州，改稱繁峙縣。
抗戰時期屬晉察冀邊區一專署。
解放戰爭時期屬察哈爾省渾源專署。
1949年劃歸山西省，屬忻縣專署。
1958年11月代縣與繁峙合并，屬晉北專署。
1961年繁代二縣重分，繁峙屬忻縣地區。
2000年屬忻州市至今。