秦滅罕羌候，置枹罕縣。
漢屬枹罕縣地，三國時屬魏。
晉初，地屬枹罕護軍；永寧中，枹罕縣屬晉興郡。
前涼張駿置河州，為興晉郡治。
西秦徙都枹罕，營建宮室，即今市區枹罕鎮境內。
北魏置枹罕鎮，后改為州，縣廢。
西魏復置縣，屬枹罕郡，隋、唐相沿，仍為枹罕縣。
唐寶應元年（公元762），為吐蕃所屬。
宋初為枹罕縣，后省，地屬安鄉縣。
元沿宋制。
明代縣廢，設河州衛，為衛駐地。
清不設縣，屬河州。
民國時，設導河縣，后改臨夏縣。
解放后，1950年設為市，幾經分合，1983年恢復市建制，同年8月31日，經國務院批準，成立臨夏市（縣級）。