衡水市，春秋為齊、衛、晉等國邊地。
戰國分屬齊、趙、中山、燕四國。
秦屬鉅鹿郡。
西漢置信都國，余為清河、鉅鹿、渤海、涿郡及河間國。
東漢改信都國為安平國。
三國魏改安平郡。
西晉改為長樂國。
北魏改長樂郡，屬冀州。
隋代復信都郡，并析信都、下博、武邑等縣置衡水縣（治今衡水舊城村）。
唐改信都郡為冀州，余深、景等州。
宋金屬河北東路。
元屬真定路冀、晉、深州及河間路景州地。
明清為冀、深、景諸州。
1913年為直隸省大名、保定、津海三道轄地。
1928年直隸河北省。
1938年后屬晉察冀邊區冀中、冀南兩區。
1949年始置衡水專區。
1952年11月撤銷衡水專區，屬縣劃歸邢臺、石家莊、滄州專區及山東省德州專區。
1962年復置衡水專區，1967年改稱衡水地區。
1964年衡水縣城建為衡水鎮。
1982年撤鎮為縣級衡水市；1983年衡水縣并入衡水市，屬衡水地區。
1996年撤銷衡水地區，設地級衡水市；撤銷原縣級衡水市，設立桃城區，為衡水市轄區。
2016年，撤銷冀州市，為衡水市轄區。