秦置軹縣(治今軹城)，因戰國時為魏軹邑而得名，屬三川郡。
西漢時于今市境東北置沁水縣(治今王寨)，東南置波縣(治今裴城)，均屬河內郡。
東漢因之。
西晉省波縣入野王。
北魏于今縣境西部置萇平縣(治今王屋)，屬邵郡。
北齊并沁水縣入軹縣。
北周改萇平縣名王屋縣，后又置懷州。
武成元年(559)州廢，置王屋郡。
隋開皇初郡廢。
十六年(596)析軹縣北部置濟源縣，屬河內郡。
大業初省軹縣。
唐武德元年(618)復置軹縣，屬懷州。
王屋縣更名邵伯縣，屬邵州。
二年（619）置西濟州，又析置湨陽（治今苗店）、燕川（治今大社）、邵原3縣。
后又置長泉縣（治今長泉）大基縣（治今蓼塢）。
四年（621）廢西濟州，省湨陽、燕川2縣入濟源縣。
邵原縣并入邵伯縣。
長泉縣并入大基縣。
八年（625）省大基縣。
貞觀元年(627)省軹縣入濟源縣。
顯慶二年(657)濟源縣改隸洛州，邵伯縣復名王屋縣，改隸河南府。
會昌三年(843)濟源縣改屬孟州。
元太宗六年（1234）改濟源縣為原州，七年廢州復為縣，仍屬孟州。
至元三年(1266)省王屋縣入濟源縣。
明、清屬懷慶府。
1913年屬豫北道。
1914年屬河南道。
1927年直屬河南省。
1933年屬第四行政督察區。
1943年析濟源縣西部置王屋縣，2縣同屬太岳區第四專區。
1947年撤銷王屋縣。
1949年改屬平原省新鄉專區。
1952年平原省撤銷，改屬河南省新鄉專區。
1969年屬新鄉地區。
1975年設立濟源工區，由省直轄，同時析濟源縣承留、思禮兩公社部分大隊設虎嶺區，同屬濟源工區。
1977年撤銷濟源工區辦事處，虎嶺區并入濟源縣，復屬新鄉地區。
1986年濟源縣改屬焦作市。
1988年縣改市，由焦作市代管。
1997年由省直管。