長治市古為“上黨”、“潞州”地域，殷商時為黎國。
春秋時，曾為潞子嬰兒國，后并于晉國。
戰國時，屬韓國。
周顯王二十一年（前348），韓首置上黨郡，后歸趙國。
秦王政二十六年（前221），秦統一六國后，實行郡縣制，分天下為36郡，上黨郡即為其中之一。
東漢沿用秦制，上黨郡屬并州。
建安十八年（213），上黨郡入冀州。
三國魏黃初元年（220），上黨郡復歸并州。
西晉永興元年（304），上黨郡屬前趙，西晉末年歸后趙。
后上黨郡歸西燕。
東晉太和五年（370），苻堅滅燕，上黨郡入后秦。
太元十一年（386年），慕容永稱帝于長子，上黨郡歸之。
北周建德七年（578），分上黨郡置潞州（是為潞州建置之始），上黨郡屬焉。
州得名，因潞子之國。
隋開皇三年（583），上黨郡廢，移潞州于壺關。
大業元年（605），改潞州為上黨郡，隸冀州。
唐武德年間，改上黨郡為潞州，并置都督府。
開元十七年（729），以玄宗歷試嘗在潞洲，置大都督府，并置上黨郡。
開元二十一年（733），潞州、上黨郡屬河東道。
大歷元年（766），置昭義軍。
五代后唐莊宗初，置潞州。
后梁末帝時，改為匡義軍，歲余，后唐滅后梁，改為安義軍。
后晉時期，復為昭義軍；后漢、后周因之。
北宋太平興國初，改昭義軍為昭德軍，后為潞州。
元豐年間為隆德府、大都督府、上黨郡、昭義軍，隸河東路。
建中靖國元年（1101），昭義軍改為威勝軍。
崇寧三年（1104），復為隆德府，后為昭德軍。
金時期，潞州隸河東南路，天會六年（1128），置潞南遼沁觀察處。
元代潞州屬晉寧路。
初為隆德府（行都元帥府事）。
太宗三年（1231），復為潞州，隸平陽路。
明洪武元年（1368），沿用元制。
初，潞州隸行中書省布政使司；洪武二年（1369），直隸山西行中書省；九年（1376），直隸山西布政使司。
嘉靖八年（1529）二月，升潞州為潞安府，設潞安兵備，分巡冀南道，治潞安。
清代沿用明制，潞安府治今長治城。
1912年，實行省、道、縣3級制，廢潞安府，原潞安府所領各縣均屬冀寧道，4月，于今長治市置潞澤遼沁鎮守使署。
1916年改為潞澤遼沁營務處。
1924年，撤銷營務處。
1930年，撤銷冀寧道，各縣直隸山西省。
1937年，山西省政府（閻錫山政權）置第三、第五專區。
抗日戰爭時期，中國共產黨以太行、太岳山為依托，建立了抗日根據地。
1945年10月8日，長治解放，以原長治縣為中心，設立長治市，隸屬晉冀魯豫邊區太行行署三專區，長治市下設三區；當月中旬，長治市（縣級）建立，隸太行四專區。
1946年6月，長治市升為地級市，直隸太行區。
1949年9月，太行三專區與太岳以專區合并為長治專區，轄長治市，直隸山西省，專署駐長治城，管轄范圍不變。
1950年3月，長治市改為長治工礦區（縣級），區政府駐上南街爐坊巷，并從長治、潞城、襄垣、屯留等縣劃入72個村，分南北兩片，南為城郊區，直屬工礦區領導，北為黃碾辦事處。
工礦區從長治縣劃入的有19個村；黃碾辦事處從潞城劃入的有11個村，襄垣劃入的有4個村，屯留劃入的有3個村。
1952年3月，工礦區復為長治市，并恢復為地級市，由長治專區代管。
1953年7月1日，長治市改由山西省直轄。
1958年，長治專區改為晉東南專區，代管長治市，同年9月，先后將潞安縣和屯長縣大部分并入長治市，下設2個聯社(屯留聯社、長子聯社)和9個人民公社（蔭城、蘇店、潞城、黃碾、城郊、淮海、惠豐、長鋼、潞礦）。
1959年6月，屯長縣劃出，區劃調整為2個聯社（韓店聯社、黃碾聯社）和2個人民公社（工農聯盟、海豐）。
1962年，恢復原長治縣和潞城縣。
1945年到1998年的50多年間，曾先后經歷了作為山西省轄市由長治專區代管和晉東南行署隸屬等多次行政區劃的調整變動。
2018年6月19日，國務院批準山西調整長治市部分行政區劃：撤銷城區、郊區合并設立長治市潞州區；撤銷長治縣，設立長治市上黨區；撤銷屯留縣，設立長治市屯留區；撤銷潞城市，設立長治市潞城區。
同年11月23日，長治市四區正式掛牌成立。