古為百越地，秦代設置四會縣，初屬桂林郡；漢初屬南越國，漢元鼎六年（111）武帝滅南越國，復置郡縣，四會縣改屬南海郡；南朝宋元嘉十三年（436）改屬廣州綏建郡（綏安郡）；隋朝始開皇九年（589）至清順治元年（1644）曾棣屬廣州總管府，揚州南海郡（隋朝），廣州都督府、廣州南綏州，嶺南道湞州，嶺南東道廣州（唐朝），興王府（五代十國南漢）；廣州中都督府，肇慶府（北宋、南宋、元、明、清）；1914年廢州府設道區，為粵海道，1920年撒道設區，為西北綏靖區；1952年5月廣寧、四會合縣至1954年7月分開，并把原屬廣寧縣的江谷、江林、黃田、石狗等劃歸四會縣，屬粵中行政區；1956年2月屬高要專區；1958年10月廣寧、四會合縣稱廣四縣，屬江門專區；1961年4月，廣寧、四會再次分縣，屬江門專區（后改稱肇慶專區）；1970年10月屬肇慶地區，1988年屬肇慶市；1993年11月經國務院批準撤銷四會縣設立四會市，由肇慶市代管，沿用至今。