清末屬山陽一里；民國初年，漢陽縣建立十八個區，屬第十五區；1945年全縣分四鎮十九鄉，屬黃陵鄉；1949年全縣劃分為五區一鎮，屬一區；1952年組成同建一、三社，翌年轉為兩個高級社；1958年人民公社化時，改名小軍大隊，屬東風人民公社；1961年轉為國營東城垸農場，翌年劃為軍山公社，分為小軍、中嶺、磨子石、徐家堡4個大隊；1965年小軍、中嶺合并為小軍大隊；1984年改小軍村，設小軍村村民委員會，屬軍山鎮；2004年屬軍山街道；2014年因經濟開發，全村計劃拆遷，村委會和村民搬遷至小軍山社區。