明清時，上義屬古名都上，義社（約）。
民國十八年（1929年），屬第一區上義鄉。
民國三十年（1941年），屬第一區尚好鄉。
民國三十四年（1945年），改為廣義鄉。
中華人民共和國成立初，屬第二區好義鄉。
1952年，屬第七區。
1957年12月，成立上義鄉。
1958年10月，屬好義公社。
1961年4月，分立上義公社。
1963年3月，并入好義公社。
1973年4月，再次恢復上義公社。
1983年9月，撤社設區。
1987年4月，改設上義鎮。