西周時期，屬鄂東南文化區的范圍，是鄂國的領地。
周夷王時，楚國東征達鄂境，一度屬楚。
戰國楚威王時（前339-前329），為楚國封君的封邑。
秦始皇二十六年（前221），秦統一天下后，屬三十六郡之南郡。
西漢高祖六年（前201），從南郡中析出江夏郡，屬江夏郡沙羨縣。
三國吳黃武五年（226），東吳遷都鄂縣（今湖北鄂州），將鄂縣改名武昌縣，同年又設武昌郡領6縣，屬武昌郡沙羨縣。
吳太平二年（257），沙羨侯降魏，沙羨縣廢，屬魏。
西晉太康元年（280），復置沙羨縣，屬沙羨縣。
東晉太元三年（378），改沙羨縣為汝南縣，隸江夏郡，屬汝南縣。
隋開皇九年（589）改汝南縣為江夏縣至清同治八年，是江夏縣六大名鎮之一。
唐高祖武德四年（621），改江夏郡為鄂州，領江夏等5縣，屬江夏縣。
唐貞觀年間（627-649），全國劃為10道，江夏縣隸山南道鄂州，屬江夏縣。
北宋年間（960-1127），全國統一后，江夏縣改隸荊湖北路鄂州，屬江夏縣。
元成宗大德五年（1301），江夏縣改隸廣行中書省武昌路，領7縣，屬江夏縣。
明洪武九年（1376），廢行中書省，全國置13個承宣布政使司，改武昌路為武昌府，江夏縣隸武昌府，屬江夏縣。
清圣祖康熙三年（1664），湖廣布政司分為湖北布政司、湖南布政司，江夏縣隸湖北布政司武昌府，屬江夏縣。
穆宗同治八年（1869），湖北布政司武昌府江夏縣設城廂區和“三鄉”、“四汛”，為江夏縣北鄉轄地。
民國元年（1912）改江夏縣為武昌縣，隸湖北江漢道，屬武昌縣。
1949年5月，武昌縣全境解放，設7個區，第二區駐青山鎮。
1950年2月，武昌縣第二區改為第九區。
1951年12月，青山第一次建區，區政府駐青山鎮。
1955年2月，青山第二次建區，區委、區政府仍駐青山鎮，成為當時青山區的政治、文化、商業中心。
同年10月，武漢鋼鐵公司青山廠區基本建設工程正式破土動工，青山地區相繼集結來自全國各地的5萬多名建設工人和近10萬名職工家屬，青山鎮出現了有史以來從未有過的繁榮景象。
1956年6月，成立青山鎮街辦事處（青山區第一個街道辦事處），轄居委會5個。
1958年，全省第一家婦女糧店五女糧店在青山鎮成立。
街道辦事處陸續創辦草繩廠、紙袋廠等一批街辦企業，街道經濟隨著武鋼、青山船廠等大型國有企業的建設獲得長足發展。
70年代初，武漢石油化工廠動工興建，爾后又有一批大中型企業在青山鎮街建成，青山鎮街逐漸成為石油化工業和造船工業的重要生產基地。
1972-1975年，青山鎮街道轄居委會由6個增至9個。
改革開放以后，街道的第三產業加速發展，服務領域由單一的副食、飲食向多元化發展。
以街道文化中心、居委會文化室和企業文化活動場所的文化網絡建設和社區服務網絡建設發展迅速。
1985年，青山鎮街轄居委會總數增至11個，1987年增至15個。
90年代初，青山外貿碼頭在青山鎮建成，該碼頭可同時停泊3艘5000噸級海輪，是長江中游最大的外貿碼頭，成為武漢對外開放的重要“窗口”。
進入90年代，青山鎮的市政建設進入一個發展最快的時期，居民住宅樓不斷興建，形成青山鎮街居民住宅新老并存、新樓林立的特點，道路建設、街區綠化和其他市政設施建設也都有了較快的發展。
2000年8月，城市基層管理體制改革，所有居委會合并為4個社區。
2007年啟動棚戶區改造，桃園村社區拆遷，還有青源、石化、船廠等3個社區。
青山鎮街道名沿用至今。