色達歷史悠久，早在3000年前已有人類繁衍生息于此，古藏族六大氏族之一的董氏族過著逐水草而居的游牧生活，當地人稱“阿嘎洛麥”即猿人之意。
他們游牧的區域包括今色達大片草原。
唐為吐蕃，宋元因之，屬吐蕃等路宣慰司都元帥府。
明為烏斯藏據，屬朵甘行都指揮使司轄區。
明末，瓦修骨系一部遷于色達杜柯，游牧于色柯上游。
清時康區改土歸流，趙爾豐多次札諭色達歸誠未遂，故清朝視為“野番”居地。
民國時期無變化。
1952年8月和平解放，1955年11月經國務院批準建縣，隸屬四川省甘孜藏族自治州。