秦以前為古羌人居地。
漢宣帝神爵二年（前60），州北部為河關縣地，隸金城郡。
王莽末年，州境為羌人所據。
東漢建武十年（34）冬，恢復河關縣，改隸隴西郡。
（《后漢書·郡國志》）東漢末及三國時，州境復為羌地，在史書所稱的“大、小榆谷”范圍內。
西晉末、東晉初，州境陸續成為吐谷渾屬地。
后涼時（386-403），州北部為澆河郡（轄縣無考）所轄，南部仍為吐谷渾地。
南涼、北涼因之。
北魏太平真君五年（444），原澆河郡地入北魏版圖。
后來又失于吐谷渾。
北周建德五年（576），在今貴德設廓州，轄洮河、達化2郡，2郡下轄洮河、廣威等5縣，今同仁縣及其以北地區即為其中達化郡所轄；州境南部地區仍為吐谷渾地。
隋開皇三年（583），設達化縣，黃南州北部歸達化縣轄，隸廓州。
大業五年（609），隋在吐谷渾故地設置郡縣。
黃南州南部地區為河源郡赤水縣轄區。
唐武德二年（619），沿隋仍置達化縣。
貞觀五年（631），設米川縣，黃南州西北歸達化縣轄，隸廓州（后稱寧塞郡，治今化隆縣群科鎮）；州東北部歸米川縣，隸米州。
貞觀十年（636），米川縣改隸河州（治今甘肅省臨夏市），永徽六年（655），改隸廓州。
州南部仍為吐谷渾地。
龍朔三年（663），吐蕃攻滅吐谷渾國，州南部遂成為吐蕃國轄區。
廣德元年（763），廓州也陷入吐蕃。
北宋初，黃南州地區為唃廝啰政權勢力范圍。
宋徽宗大觀二年（1108），今黃南州北部為積石軍地。
北宋亡后，積石軍入金，隸臨洮路。
金大定二十二年（1182），改積石軍為積石州，黃南州地區隸屬于金。
元代黃南州境均為吐蕃等處宣慰使司轄區，隸宣政院。
明洪武七年（1374），州南部為朵甘行都指揮使司轄區，北部為歸德守御千戶所地。
明末清初，州南部為衛拉特蒙古和碩特部首領顧實汗轄區，北部仍為歸德千戶所地，隸河州衛。
清雍正三年（1725），州南部為蒙古3旗駐牧地，隸欽差辦理青海蒙古番子事務大臣衙門管轄。
州北部自雍正四年后分隸河州撫番同知和歸德守御千總。
河州撫番同知于乾隆二十七年（1762），移駐循化，遂設循化廳，隸蘭州府（道光三年改隸西寧府）。
乾隆五十六年(1791)，置貴德廳，仍隸西寧府。
民國初，黃南州北部為循化縣和尖扎縣轄地，均隸西寧道；南部為“河南蒙旗”地，隸青海辦事長官（后依次改隸蒙番宣慰使、甘邊寧海鎮守使）。
1929年，青海建省，黃南州地區統歸青海省轄。
1930年，由循化縣析置同仁縣，直隸青海省。
1949年9月，黃南州地區解放。
1952年，由貴德縣析置尖扎區（同年7月，改為尖扎藏族自治區，次年6月，改為尖扎縣）。
1953年8月8日，由同仁縣析置澤庫縣。
同年12月22日，設黃南藏族自治區（專區級），駐隆務，轄同仁、尖扎、澤庫3縣。
1954年10月成立河南蒙古族自治區（縣級），由青海省直轄。
1955年7月，將河南蒙古族自治區改為河南蒙古族自治縣，同年11月，改黃南藏族自治區為黃南藏族自治州。
1959年3月22日，國務院批準，將河南蒙古族自治縣交由黃南藏族自治州代管。
截至2011年底，黃南藏族自治州仍轄以上3縣，代管河南蒙古族自治縣。
2020年7月，原屬同仁縣撤縣設市后，轄1市3縣。