商代及西周屬畿內地，分屬雍、邗、溫三國。
春秋時期屬晉。
戰國時期屬魏。
秦代歸三川郡。
漢代設河內郡。
元至元六年(1269)，稱焦家作，后簡稱焦作，屬修武縣。
清宣統二年(1910)，為焦作鎮。
1945年，置焦作市。
1948年，改焦作縣。
1949年，改設焦作礦區，歸平原省管轄。
1952年，屬河南省新鄉專區。
1956年，改置焦作市。
1960年，修武、博愛2縣并入。
1961年，恢復修武、博愛建制，復歸新鄉專區。
1974年，升為省轄市。
1983年，修武、博愛2縣并入。
1986年，武陟、溫縣、孟縣、濟源、沁陽5縣劃入。
1988年，濟源縣改市。
1989年，沁陽縣改市。
1997年，孟縣改市。
濟源由省直轄。
2002年，市政府由山陽區遷駐解放區。