公元前2世紀初，第一代贊普聶墀贊普為早期雅礱部落的首領，確立了贊普的世襲制度。
約6世紀，雅礱流域進入奴隸社會，雅礱部落遂成為西藏最強大的部落。
7世紀中葉，松贊干布起兵于雅礱河谷，統一青藏高原，建立了吐蕃政權，并將都城遷至拉薩。
宋寶祐元年（1253），山南地區屬十三萬戶的領地。
元至正十四年（1354），帕竹萬戶推翻薩迦地方政權，帕竹地方政權統治西藏262年。
西藏地方政府時期，噶廈下設“基巧”和“宗”二級行政機構，此時為山南基巧。
1914年，英帝主義分子麥克馬洪、柏爾等人，背著中國中央政府，勾結西藏地方代表出席西姆拉會議的夏扎·邊覺多吉，秘密炮制了非法的“麥克馬洪線”，將錯那縣門隅、珞瑜等地劃入英屬印度。
20世紀八十年代，印度在該區域又成立了所謂的“阿魯納爾邦”。
西藏和平解放后，設洛喀基巧，即山南總管。
1960年1月，經國務院批準，設立山南專區，1970年11月，經國務院批準，山南專區更名為山南地區。
2016年1月，國務院下達《關于同意西藏自治區撤銷山南地區設立地級山南市的批復》（國函〔2016〕8號）。