明清兩朝回瑤稱均亭里。
明代屬群玉鄉。
清代康熙年間仍屬群玉鄉。
清道光均亭里轄29個自然村。
民國十七年（1928）廢里，成立回瑤鄉，下轄44個自然村，隸屬一區童游。
民國二十一年（1932）成立回瑤聯保，屬二區（童游）。
民國二十五年（1936）屬一區（城坊）。
民國二十九年（1940）撤聯保，成立回瑤鄉，屬一區（城坊）。
民國三十年（1941）直屬縣政府。
民國三十四年（1945）全縣合并鄉鎮，回瑤鄉撤銷。
中華人民共和國成立后，1950年分別成立回瑤鄉、洪尾鄉、溪源鄉、溪口鄉，屬三區（徐市）管轄。
1952年調整部分政區，回瑤鄉、洪尾鄉、溪口鄉統稱東南鄉，屬城關區（城關鎮），1958年人民公社化后（1962年前）成立回瑤大隊，隸屬城關公社。
1984年回瑤大隊改為回瑤村村民委員會，屬童游鄉管轄。
2002年12月后，歸潭城街道管轄。
2022年2月23日后，歸寶山街道管轄。