漢初為西遷大月氏控制；漢元光五年（前130年）為烏孫牧地，屬匈奴；漢神爵二年（前60年），歸西域都護府管轄；明代屬瓦剌蒙古土爾扈特部牧地；明崇禎元年（1628）屬準噶爾部牧地；清乾隆二十年(1755)，平定準噶爾部，今市境內附；乾隆二十七年（1762），庫爾喀喇烏蘇設辦事大臣，今市境南部獨山子等地歸其統領；乾隆二十九年（1764），清政府設塔爾巴哈臺參贊大臣，今市境西北部一帶由其統領；乾隆四十三年（1778），清政府在瑪納斯河流域設綏來縣，屬迪化州直隸，轄區包括今市境的百口泉、夏子街、大拐、中拐、小拐等地；光緒十二年（1886年），塔爾巴哈臺直隸廳成立，轄區包括今市境北部地區，市境東部大拐、中拐、小拐一帶仍屬綏來（瑪納斯）轄區，歸迪化府管轄；1913年塔爾巴哈臺、庫爾喀喇烏蘇直隸廳改置為縣，分轄市境南北二部；1916年裁塔爾巴哈臺參贊大臣，設塔城道，下轄塔城、烏蘇、沙灣縣，今克拉瑪依市境一帶統歸其轄。
其后市境先后隸于第五行政區、塔城專區；新中國成立前，分屬沙灣縣、烏蘇縣、克烈半個縣（今托里縣）、和豐縣（今和布克賽爾蒙古自治縣）。
1955年，成立獨山子礦區行政委員會。
1956年成立縣級獨山子鎮。
1958年設立縣級克拉瑪依市。
1982年升格為地級市。
1984年改為自治區直轄縣級市。
1990年恢復地級市。
近年來，依托“智慧城市”建設，實現產業升級，“戈壁油城”變身智慧城市。