小衢山位于島扎北面，由紅山岙、大南岙、小南岙及紅毛崗墩，大、小涼帽山組成。小衢山隸屬岱山縣衢山鎮，故名。小衢山于光緒年間屬蓬萊鄉衢山莊，民國年間先后屬定海縣，贏洲縣之島斗鄉。解放后，除1954-1958年間置小衢鄉外，余皆屬島斗鄉或島斗公社，2001年7月并入衢山鎮。丘陵走向：呈東西走向。陸域面積為1.837平方公里，其中大部分為丘陵。海岸線長8.77公里。最高點海拔200.8米。小衢山島海岸線曲折，有5個岙口，其中東北的紅山岙，縱深300米，寬200米，南部有大南岙，長120米，寬200米。島南岸有水深10米以上的岸線1.2公里，后方有小片海涂可圍。土坯粗骨土，坡度15°。植被硬闊樹種，種植松樹為主。島上設2個行政村，轄3個自然村。
1949年屬島斗鄉十三保；1950年解放初屬島斗鄉十三村；1953年屬小衢鄉；1956年屬小衢鄉衢一漁業生產社；1958年建立小衢漁業大隊，屬衢山公社太平管理區；1961年屬島斗公社；1984年小衢漁業大隊劃分成紅山岙、大南岙兩個村民委員會，屬島斗鎮；后于2003年7月25日將小衢紅山岙、小衢南岙兩村合并成立小衢村，2017年3月變為小衢社區村。
2010年小衢島被上海柘中集團征用，征用土地1954.75畝，892.85畝被租賃，后又拍賣給浙江金鑫集團至今。現在小衢島正在被金鑫集團開發，開采礦石。原社區村委座落于衢山鎮望海路62號，現在的新社區村委位于衢山鎮小塘岙(老水泥廠北面)(于2016年11月17日搬遷暨農歷十月十八)；距鎮政府駐地0.7千米。
自從1995年執行“小島遷大島建”的精神，小衢島上的居民陸續遷居到衢山本島的各個村，自己買房居住。現在小衢社區村戶籍人口有1539人，668戶；設有黨支部一個，有中共黨員41名，預備黨員1名；五保戶4戶；4人；低保戶24戶，計32人；低保邊緣1戶，2人；殘疾人56人；小衢村是一個以純漁業為主的行政村，大小漁船共有60艘；其中帆張網作業漁船24艘，拖蝦作業漁船2艘，流刺網作業漁船5艘，油運輔助船1艘，小型張網漁船21艘，接駁船7艘。