600多年前的關山荒山野嶺，杳無人煙，真是“地如其名”。
根據《明史》、《明太祖實錄》以及部分家譜記載考證，直至明朝洪武年間，由官方組織從江西向湖廣強制性移民，這里才有了稀少的人煙。
解放前，關山周圍九十多個村莊，共五百余戶人家，千余口人，絕大多數以種田為生，由于交通不便，走出家園的路漫長而又充滿艱辛。
1946年，轄區屬武昌縣第八區區公所管轄。
設新安鄉（今魯巷）、永豐鄉（今王家廟）等。
解放后1949—1950年，轄區屬武昌縣。
1951年，長山鄉和湖口鄉從武昌縣劃出，隸屬洪山區公所。
1952年，武漢市成立東湖區和南湖區，原長山鄉和湖口鄉劃屬武昌縣管轄，磨山鄉和魯巷鄉劃屬東湖區管轄。
1955年2月，東湖區更名為洪山區，原劃屬武昌縣的長山鄉和湖口鄉再次劃入。
1956年6月，南湖區并入洪山區。
1956年下半年，成立南望山街道辦事處，1957年南望山街道劃屬武昌區，南望山街道辦事處易名喻家山街道辦事處。
1958年，成立關山區，除轄原喻家山街道辦事處轄區外，增設關山街道辦事處。
1959年，關山區改為關山人民公社，關山街道和喻家山街道辦事處分別為關山人民公社一、二分社。
1960—1961年，撤銷公社，劃歸洪山區，恢復關山街道辦事處和喻家山街道辦事處。
1964年，重新劃入武昌區。
1966年下半年，改關山街道辦事處為躍進街道辦事處，改喻家山街道辦事處為學工街道辦事處。
1972年，兩街合并為關山街革命委員會。
1979年，關山街革命委員會改用現名，即關山街道。
1986年，關山街道由武昌區劃屬洪山區。
2012年，關山街轄區27個社區居民委員會至今。