古碑鎮為抗戰時期安徽省府所在，其名得於清鹹豐七年山洪暴發所沖出的刻有“古碑沖”的古石碑。古碑原屬六安縣，國民黨時期劃歸“立煌縣”，1947年該立煌縣為金寨縣，建立古碑鄉；1954年修建梅山水庫，因區劃變更成立古碑區；1968年撤區並社成立古碑公社；1972年恢復古碑區；直至1992年再度撤區並鄉，原古碑鎮、南畈鄉、七鄰灣鄉合並為古碑鎮，2008合並水竹坪鄉成為如今的古碑鎮。
古碑鎮歷史上僅是二三十戶人家的小街，抗日戰爭時期，是安徽學院和國民革命軍第二十壹集團軍總部、五戰區幹部訓練團駐地，曾極壹時之盛。抗戰勝利後國民省政府東遷合肥，隨之蕭條。梅山水庫興建後，金家寨移民遷此，城關區和帽頂區合並為古碑區，作為區公所和區直屬單位駐地，城鎮又日趨繁榮。