屬齊齊哈爾副都統轄區，為布特哈游牧地。
清末放荒招墾，設立荒務機構。
光緒三十一年（1905）于郭爾羅斯后旗巡防局啟用“總理甘井子荒務之關防”，翌年于二站（由齊齊哈爾城至呼倫貝爾驛道的第二站，故名二站）附近勘定城基。
清光緒三十三年（1907）“街基落成”，荒務行局遷抵二站（今甘南鎮）。
光緒三十四年（1908），撤銷荒務行局設置甘井子巡防局，隸屬西布特哈總管。
中華民國成立后，1914年7月，改設甘井子佐治局，隸屬龍江縣管轄。
同年10月9日批準，將甘井子佐治局改為甘井子縣佐。
1916年2月，劃歸布西設治局管轄。
1925年12月1日，黑龍江省長公署令，將甘井子佐治局改設甘南設治局，駐地二站改為甘南鎮，隸屬龍江道管轄。
1929年2月，龍江道撤銷后，改由省直轄。
東北淪陷后，1933年10月1日，改為甘南縣，隸屬黑龍江省。
1934年12月，劃歸偽龍江省管轄。
1945年“九三”抗日戰爭勝利后，劃歸嫩江省管轄。
1949年5月，撤銷嫩江省，劃歸黑龍江省管轄。
1954年8月設立嫩江專區，歸嫩江專區管轄。
1960年5月至1961年10月，嫩江專區一度撤銷時，曾歸齊齊哈爾市領導。
1985年1月1日，嫩江地區正式撤銷后，劃歸齊齊哈爾市領導。
并沿用至今。