績溪漢代稱華陽鎮，南朝梁大同元年（535年）設良（梁）安縣，唐朝永泰二年（766年）置績溪縣。
績溪是古新安、古歙州、古徽州的重要組成部分，唐至宋代屬歙州，宋宣和三年（公元1121年）因績溪有“徽嶺、徽溪、大徽村”，改“歙州為徽州”（“徽，善也”《爾雅·釋詁》，“績、功也”《爾雅》），清康熙六年（公元1667年）建安徽省時，取安慶、徽州二府首字為省名，可以說績溪是名副其實的“安徽之源”。
1949年4月30日績溪縣解放，改屬徽州專區，1988年1月劃入宣城地區，2001年1月屬宣城市。