南朝劉宋元嘉十三年（436），劃南海郡四會縣銀屯鄉設立，屬綏建郡。
隋開皇九年（589）至大業十三年（617）懷集縣屬南海郡。
元至元十五年（1278），懷集縣改隸湖廣中書行省賀州；明洪武九年（1376）改隸廣西梧州府；清光緒三十四年（1908），改隸廣西平樂府；1912年改隸廣西梧州府；1934年隸屬廣西平樂督察專員公署；1951年5月由廣西省西江專員公署代管；1952年3月，屬西江專員公署；同年12月屬粵中區行政專員公署；1956年2月屬高要專員公署；1959年開建縣并入稱懷建縣，屬江門專員公署；1961年4月分出開建縣，隸屬肇慶專員公署；1968年3月屬肇慶市地區革命委員會；1979年3月屬肇慶地區行政公署；1988年1月，屬肇慶市管轄，沿用至今。