1958年至1961年公社化時，屬離石縣劉家山公社管轄，為任家山管理區。
1961年至1971年仍屬離石縣西王家溝公社管轄，為任家山大隊。
1971年組建柳林縣后，屬柳林縣西王家溝公社管轄，仍為任家山大隊。
1984年實行鄉（鎮）村制，任家山大隊改為任家山村委會。
2000年12月鄉鎮撤并，劉家山鄉與西王家溝鄉合并為西王家溝鄉。
2002年9月村組撤并，任家山和乜家窊合并為任家山村委，屬柳林縣西王家溝鄉管轄。
2020年4月村組撤并，下曹家坡行政村與任家山合并，命名為任家山村委會，仍屬柳林縣西王家溝鄉管轄至今。