明末清初，這里稱鄂爾多斯左翼前旗北部地。
清宣統三年（1911年）~1954年，屬準格爾旗，稱準格爾地。
民國十七年（1928年）~1949年，部分村屬托克托縣。
民國二十八年（1939年）~民國三十四年（1945年），屬準格爾旗偽西官府。
1949年10月，屬準格爾旗。
1955年，劃歸薩拉齊縣。
1956年，撤區劃鄉，為將軍堯鄉，屬二旺堯大鄉。
1958年10月，將軍堯、四家堯、黨三堯、程奎海等鄉組成團結公社。
1959年，更名將軍堯公社。
1961年9月，將軍堯公社分為黨三堯鄉、四家堯、程奎海、將軍堯4公社。
1969年1月，土默特旗分為左、右兩旗，屬土默特右旗。
1981年，四家堯公社遷到小召子村，改名小召子公社。
1984年9月，公社改鄉。
2001年4月，程奎海鄉并入小召子鄉。
2006年2月，將軍堯、黨三堯、小召3鄉合并為將軍堯鎮。