元、明兩朝為蒙古游牧地區。
清乾隆二十七年（1762），在此建城，取名輯懷城。
1928年，設乾德縣后，稱為古牧地街。
解放后，與1950年成立古牧地區。
1954年乾德縣政府駐地從三道壩移駐古牧地，同年乾德縣改名米泉縣，古牧地屬一區所轄。
1958年成立東風公社，駐地古牧地，設立古牧地街道居民委員會。
1960年5月古牧地街道委員會從東風公社劃出，改名為五一人民公社。
1964年將五一公社改為米泉鎮。
1976年遷駐上沙河村。
1978年更名為古牧地公社，1984年成立古牧地鄉，1986年古牧地鄉同米泉鎮合并，成立古牧地鎮，沿用至今。