古屬羌地，與世居河西走廊的古老民族月氏（ròuzhī）人毗鄰。
漢高祖六年（前201）月氏人遭匈奴人攻擊，大部西遷，小部分南入祁連山，稱小月氏，與海北地區羌人雜居。
西漢神爵元年（前61），置臨羌縣，今州境東南部屬臨羌縣，隸金城郡。
新莽在今海晏縣設置西海郡，治龍夷城（今海晏縣三角城），今海晏、剛察縣為西海郡轄區。
更始元年（23），郡廢，復為羌地。
東漢永元十四年（102），移金城西部都尉駐此，今海晏、剛察縣仍屬之。
三國時，今海晏縣屬西平郡臨羌縣地，今州境其余地區仍為羌地。
西晉因之。
前涼時，分屬西平郡長寧縣、西平郡臨羌縣、祁連郡和鮮卑乙弗部（又稱“乙弗勿敵國”）。
北魏時，州境大部為吐谷渾(tǔyùhún)國地，僅今門源縣屬西平郡西都縣。
孝明帝孝昌二年（526），今門源回族自治縣入吐谷渾。
隋大業五年（609），破吐谷渾，在其故地置郡縣，今剛察、海晏、祁連3縣西海郡屬宣德縣。
隋亡，吐谷渾復其故地。
唐龍朔三年（663），入吐蕃。
北宋初屬唃廝啰(ɡūsīluō)地方政權轄地。
崇寧三年（1104），分屬湟州和吐蕃諸部。
政和六年（1116），北宋于此置震武軍，治在今門源回族自治縣克圖鄉古城，隸熙河蘭湟路。
元屬吐蕃等處宣慰使司，隸宣政院。
明初州境大部分地區為藏族部落居地。
明洪武八年（1375），置罕東百戶所于今剛察縣，洪武三十年（1397），改為罕東衛。
罕東衛西移后，今剛察縣隸朵甘行都指揮使司。
清雍正二年（1724），設大（dài）通衛于北大通城（今門源回族自治縣浩門鎮），隸西寧府，今門源全境和祁連縣東部屬之。
次年，分置和碩特北右旗、前左頭旗、西右前旗、南左末旗、南右后旗、東上旗，統歸欽差辦理青海蒙古番子事務大臣（簡稱青海辦事大臣或稱西寧辦事大臣）節制。
雍正五年（1727），又于衛治置大通鎮。
雍正十三年（1735），裁大通鎮改設大通協，歸西寧鎮總兵節制。
乾隆九年（1744），移大通衛治于白塔（今大通回族土族自治縣老城關），今門源全境和祁連東部仍為大通衛轄地。
乾隆二十六年（1761），省衛置大通縣，今門源全境和祁連東部屬大通縣，隸西寧府。
1917年，海晏屬湟源縣和都蘭理事公署。
1929年，析置亹源縣，直屬于青海省，今剛察縣為都蘭理事公署轄區。
1937年，改設海晏設治局。
1939年由門源縣析置祁連設治局。
1943年，設海晏縣，直屬青海省。
1953年12月，設海北藏族自治區(地級)，自治區人民政府駐亹源回族自治縣浩門鎮，1955年，改海北藏族自治區為自治州，州人民政府駐地不變。
1959年，改亹源回族自治縣為門源回族自治縣。
1993年7月，州人民政府駐地遷至西海鎮。