明清時期實行都里制，屬五龍鄉通遠都。
民國，在明清四鄉（太平、五龍、雄山、八諫）基礎上實行編村制，也稱區村鎮制，屬縣二區（駐地蘇店）北天河編村。
1949年，沿用區、村、鎮制。
1953年，區下設鄉，實行鄉村制，屬縣二區（駐地蘇店）北天河鄉，下轄北天河、南天河，小墳上。
至1956年，農村進行社會主義改造，組成紅勝高級合作社，簡稱“紅勝社”。
組成紅星高級合作社，簡稱“紅星社”。
1958年，開始人民公社化，屬蘇店衛星人民公社蘇店管理區。
1961年，衛星人民公社縮劃，實行社隊制，屬蘇店公社，置小墳上生產大隊，下轄1個生產小隊。
1984年，改公社為鄉（鎮）政府，屬蘇店鎮，小墳上大隊隨改為小墳上村民委員會，下轄個村民小組。
2000年撤鄉并鎮，仍屬蘇店鎮。