臨潭為古代洮州之地。
夏、商、周臨潭屬古雍州之地。
春秋戰國時期，這里為諸羌所據。
秦始皇統一六國，臨潭為隴西郡臨洮縣（今岷縣）轄地。
漢代，仍以臨洮名之。
西晉惠帝于292年置洮陽縣，隸屬秦州。
自西晉永嘉之亂至十六國末，被吐谷渾占據。
南北朝時周遣大使巡查天下，首次設置洮州，隨之又置洮陽郡汎潭縣。
隋開皇十一年（591），改汎潭縣為臨潭縣。
唐貞觀十三年（639）為隴右道洮州臨潭縣。
五代時期，臨潭繼為吐蕃控制，至后唐長興四年（933）歸順后唐，升洮州為保順軍。
北宋初為吐蕃瑪爾晉所占，仍稱臨洮。
大觀二年（1108），再改臨洮為洮州，歸秦鳳路轄。
南宋紹興四年（1134），為金所占。
南宋嘉定十二年（1219），臨潭為蒙古兵所占，直至宋滅。
元初歸宣政院轄，屬吐蕃宣慰司統領，置洮州，下領可當縣（今臨潭縣新城）。
明洪武四年置洮州軍民千戶所，隸河州衛。
十二年（1379），升洮州軍民千戶所為洮州衛軍民指揮使司，隸陜西都司。
清乾隆十三年（1748）改洮州衛為洮州廳，隸屬甘肅省鞏昌府。
1913年，改洮州廳為臨潭縣，屬蘭山道轄。
1938年，甘肅省調整行政督察區，臨潭隸屬第一督察區。
1949年9月27日成立臨潭縣人民政府，為岷縣專區管轄。
1950年劃入臨夏專區（現臨夏回族自治州）管轄。
1953年劃歸甘南藏族自治州至今。