周彘地。
春秋屬晉，戰國屬魏。
秦屬河東郡。
西漢彘縣地，屬河東郡。
東漢陽嘉三年（134）為永安縣地，三國魏晉胥屬平陽郡。
南北朝北魏太平真君九年（448）置嶺東縣（故治今呂梁市交口縣西南），屬吐京郡（今呂梁市石樓縣西北），太和（497）改新城縣，治所徙今勍香鎮迴城、云城一帶。
北齊置臨汾郡及臨汾縣，治今和平鎮申村。
隋開皇三年（583）郡廢，改臨汾縣為汾西縣，同新城縣俱屬永安郡，十年（530）省新城縣并入，十六年（596）改屬汾州，十八年（598）改屬呂州。
大業三年（607）屬臨汾郡。
義寧元年（617）屬霍山郡。
唐武德元年（618）郡廢，屬呂州。
貞觀六年（632）徙治今縣城，十七年（643）改屬晉州。
開元中（713～741）徙治厚義（今團柏鄉后義村）。
五代屬晉州。
宋太平興國七年（982）移今治。
政和（1116）屬平陽府。
金屬平陽府，元屬晉寧路。
明屬平陽府。
清雍正二年（1724）改屬隰州，九年（1731）復屬平陽府。
1913年屬河東道。
1927年屬山西省。
1937年屬山西省第六區。
1938年2月縣城為日軍占領。
1946年8月29日縣城解放，屬晉綏邊區呂梁行署第九專署。
1949年2月屬陜甘寧邊區晉南行署隰縣專區，6月為汾西中心縣。
1949年10月屬晉南中心專署（駐臨汾）。
1954年9月屬晉南專區（駐臨汾）。
1958年6月與霍縣合并為霍汾縣。
10月撤消霍汾縣并入洪洞縣。
1959年7月恢復霍汾縣。
1961年5月撤消霍汾縣，恢復汾西縣建制，屬晉南專區（駐臨汾）。
2000年11月屬臨汾市管轄至今。