1949年屬漢陽縣第一區、第六區所轄的軍山、長河兩個鄉。
1958年為黃陵人民公社的軍山、洪海兩個管理區。
1959年為國營東城垸農場軍山分場，洪海化為沌口養殖場。
1961年轉為軍山、洪寒兩個公社，屬黃陂區。
1975年軍山、洪海兩個公社合并為軍山公社。
1984年改名為軍山鎮。
2001年將黃陵鎮并入軍山鎮，鎮政府駐黃陵磯。
2004年撤銷軍山鎮，設立軍山街道，辦事處駐黃陵磯。
2006年將蔡甸區的軍山街道委托給武漢經濟技術開發區管理。
現軍山街道設鳳凰苑社區、龍湖社區、蒲潭社區、小軍山社區、黃陵社區、得勝村、勝利村、新團村、群江村、涼亭村、幸福橋村、硃山村、鳳山村、張王廟村、沿河村、大山村、王家村、肖家村、長山村、龍湖村、川江村、小軍村、楓林村、黃石村、洪海村、軍江村。