古帝堯所都，為最初的中國。
禹貢冀州之域。
春秋屬晉。
戰國屬韓。
秦為河東郡。
三國魏正始八年（247）置平陽郡，郡治平陽，屬司隸校尉。
北魏改屬晉州。
建義元年（528）州、郡治所移今臨汾。
隋開皇三年（583）郡廢，為晉州。
義寧二年（618）改平陽郡。
唐武德元年（618）改晉州，南部屬絳州，西部置慈州、隰州。
天寶元年（742）改晉州為平陽郡，屬河東道。
乾元元年（758）復名晉州。
后梁開平四年（910）升為定昌軍，后改建寧軍。
后唐同光元年（923）改建雄軍。
宋初仍名晉州。
北宋政和六年（1116）晉州升為平陽府，屬河東路。
金屬河東南路。
元置平陽路總管府，屬中書省山西宣慰司。
大德九年（1305）因地震改稱晉寧路。
明洪武元年（1368）改平陽府，屬山西承宣布政使司。
1912年廢府州。
1913年屬河東道。
1927年廢道直屬山西省。
1937年分屬山西省第五、六、七行政區。
1948年屬晉綏邊區。
1949年初改屬陜甘寧邊區晉南區。
1950年為山西省臨汾專區，專署駐臨汾。
1954年屬晉南專區，專署駐臨汾。
1967年屬晉南地區。
1970年屬臨汾地區。
1971年設縣級臨汾市，由臨汾地區管轄。
2000年撤臨汾地區和縣級臨汾市，設地級臨汾市至今。