清末，屬杜爾伯特旗第十努圖克轄區。
中華民國時期，劃為第四族轄區，族長駐小煙筒屯。
1940年，隸屬哈布塔保。
1946年8月隸屬哈布塔努圖克。
1947年1月，改為哈布塔區。
1948年7月，改稱第四區，后改為第三區。
1956年5月，撤區劃鄉，分設克爾臺、哈布塔兩個鄉。
1958年4月，將哈布塔鄉并入克爾臺鄉，同年9月改稱五一人民公社。
1960年1月，改稱克爾臺公社。
1984年8月，改為克爾臺鄉。
名稱沿用至今。