公元前221年，秦始皇統一中國后始行郡縣制。
境內除任城縣、亢父縣屬薛郡外，其他則屬魯郡。
西漢時，境內曾置有東平國，領任、無鹽、亢父、樊、東平陸、富城、章7縣。
東漢則從東平國析出任城國，領任、亢父、樊3縣。
三國、兩晉、南北朝時期，境內政區變化不大，或為任城國，或為任城郡，領3縣如故。
隋統一后，改兗州為魯郡，領瑕丘、任城、鄒、曲阜、平陽、泗水、龔丘、梁文、博、贏10縣。
唐時無大變化，但五代周廣順二年(952年)置濟州，并割鄆州的巨野、鄆城，兗州的任城，單州的金鄉歸其統轄。
這期間，境內其他各縣則多屬兗州。
宋政和八年(1118年)兗州一度升為襲慶府，境內的仙源、泗水、瑕丘、鄒縣都歸其統轄。
金天德二年(1150年)，濟州由巨野遷往任城，并領任城、嘉祥、鄆城、金鄉4縣。
元至元八年(1271年)，濟州升為濟寧府，至元十六年(1279年)，又升為濟寧路。
自此以后，境內或為府、州，或為區、市，一直是歷代地方二級政權機關駐地，其行政區劃如下。
元時，至元十六年(1279年)，境內置濟寧路，治任城，領轄3州7縣，即：濟州、單州、兗州，任城、巨野、鄆城、肥城、金鄉、碭山、豐縣。
明時，洪武元年(1368年)改濟寧路為府，仍治任城，領轄3州12縣。
即：兗州、東平州、沂州，任城、金鄉、巨野、鄆城、嘉祥、曹、單、定陶、成武、魚臺、滕、嶧縣。
洪武十八年(1385年)改濟寧府為州，只領3縣。
即：嘉祥、巨野、鄆城。
清時，雍正二年(1724年)濟寧州升為直隸州，仍領3縣，即嘉祥、巨野、鄆城。
乾隆四十一年(1776年)，濟寧直隸州領3縣。
即：嘉祥、魚臺、汶上。
乾隆五十四年(1789年)，濟寧直隸州領3縣。
即：嘉祥、魚臺、金鄉。
中華民國時，1914年6月境內置濟寧道，領轄25縣。
即：濟寧、滋陽、曲阜、寧陽、鄒、滕、泗水、汶上、嶧、金鄉、嘉祥、魚臺、蘭山(后改名為臨沂)、郯城、費、蒙陽、營、沂水、菏澤、曹、單、成武、定陶、巨野、鄆城縣。
1933年，境內置山東省第一行政督察專員公署，領轄11縣。
即：濟寧、滋陽、汶上、寧陽、曲阜、鄒、滕、東平、嘉祥、金鄉、魚臺縣。
1935年7月，又改為濟寧實驗區長官公署，領轄14縣。
即：濟寧、嘉祥、巨野、鄆城、壽張、鄄城、定陶、成武、曹、單、金鄉、魚臺、東平、汶上縣。
1935年冬，再改為山東省第一區行政督察專員公署，領轄10縣。
即：濟寧、滋陽、東平、汶上、鄒、滕、寧陽、曲阜、嘉祥、魚臺縣。
1946年9月，境內設山東省第二行政督察專員公署，領轄7縣。
即：濟寧、嘉祥、鄆城、巨野、壽張、東平、汶上縣。
中華人民共和國建立后，1953年7月，滕縣專署和湖西專署合并為濟寧專署，專署駐地為濟寧市。
領轄濟寧市、濟寧縣、滋陽縣、曲阜縣、鄒縣、鳧山縣、滕縣、嶧縣、薛城縣、微山縣、魚臺縣、金鄉縣、嘉祥縣、汶上縣。
1956年2月，泰安專區的泗水縣劃歸濟寧專區。
同時，境內的區劃也作了調整，撤銷了魚臺縣并入金鄉縣；撤銷了鳧山縣、薛城縣。
這時的濟寧專署領轄濟寧市、濟寧縣、滋陽縣、曲阜縣、泗水縣、鄒縣、滕縣、嶧縣、微山縣、金鄉縣、嘉祥縣、汶上縣。
1958年12月，經國務院批準撤銷菏澤專署，原屬各縣劃歸濟寧專署；撤銷濟寧縣，分別劃歸濟寧市和鄆城、巨野、金鄉縣；撤銷滋陽縣，劃歸曲阜縣。
這時的濟寧專署領轄濟寧市、曲阜縣、泗水縣、鄒縣、滕縣、嶧縣、微山縣、金鄉縣、汶上縣、菏澤縣、曹縣、單縣、成武縣、鄄城縣、巨野縣、鄆城縣、梁山縣。
1959年7月，菏澤專署恢復，濟寧專署領轄濟寧市、曲阜縣、泗水縣、鄒縣、滕縣、嶧縣、微山縣、金鄉縣、汶上縣。
1960年1月，嶧縣撤銷，劃歸新建的棗莊市。
這時的濟寧專署領轄濟寧市、棗莊市、曲阜縣、泗水縣、鄒縣、滕縣、微山縣、金鄉縣、汶上縣。
1961年9月，棗莊市從濟寧專區析出。
10月，恢復嘉祥縣；撤銷滋陽縣，新設兗州縣。
至此，濟寧專署尚轄濟寧市，兗州縣、曲阜縣、泗水縣、鄒縣、滕縣、微山縣、金鄉縣、嘉祥縣、汶上縣。
1964年7月，恢復魚臺縣；1965年4月，恢復濟寧縣；皆歸屬濟寧專區。
1967年，濟寧專區改稱濟寧地區。
1978年11月，滕縣劃歸棗莊市。
這時的濟寧地區尚有1市10縣。
即：濟寧市，兗州縣、曲阜縣、泗水縣、鄒縣、金鄉縣、嘉祥縣、魚臺縣、汶上縣、微山縣、濟寧縣。
1983年8月30日，經國務院批準，撤銷濟寧地區，濟寧市升格為省轄地級市。
原濟寧地區的汶上縣、泗水縣劃歸泰安地區。
10月5日，經山東省人民政府批準，設立濟寧市中區，以原濟寧市區域為轄區；設立濟寧市郊區，以原濟寧縣區域為轄區。
調整后，濟寧市人民政府領轄2區7縣，即市中區、市郊區，兗州縣、曲阜縣、鄒縣、微山縣、魚臺縣、金鄉縣、嘉祥縣。
1985年3月，汶上縣、泗水縣重新劃歸濟寧市。
1986年6月，曲阜縣改建為曲阜市，由濟寧市代管。
1989年12月，原菏澤地區的梁山縣劃歸濟寧市。
1992年兗州縣、鄒縣分別撤縣設市。
1993年12月市郊區改名為任城區。
現濟寧市轄二區三市七縣，即市中區、任城區、曲阜市、兗州市、鄒城市、微山縣、魚臺縣、金鄉縣、嘉祥縣、汶上縣、泗水縣、梁山縣。
2013年11月根據國務院《關于同意山東省調整濟寧市部分行政區劃的批復》和省政府《關于調整濟寧市部分行政區劃的通知》精神，濟寧市部分行政區劃實施調整：撤銷市中區、任城區，設立新的任城區，以原市中區、任城區的行政區域為新設任城區的行政區域；撤銷兗州市，設立濟寧市兗州區，以原兗州市的行政區域為兗州區的行政區域。
通過這次區劃調整，濟寧市區行政區域面積由884平方公里拓展到1534平方公里，人口由113.8萬增加到177.5萬。
新任城區管轄面積624平方公里、人口86.7萬，兗州區管轄面積535平方公里、人口52萬，高新區管理面積255平方公里、人口28.2萬，太白湖新區管理面積119.7平方公里、人口11萬，濟寧經濟技術開發區和商貿物流園區管理面積128平方公里、人口11.2萬。
截至目前，轄任城區、兗州區、曲阜市、泗水縣、鄒城市、微山縣、魚臺縣、金鄉縣、嘉祥縣、汶上縣、梁山縣共2區2市7縣，49個街道、4個鄉、103個鎮。