蒙山大佛開鑿於北齊天保年間，唐高祖李淵、唐高宗李治與皇后武則天、後唐武皇帝李克用、後漢高祖劉知遠都曾來此禮佛。
元朝末年，蒙山大佛被毀，1980年的太原市地名普查中，蒙山大佛被重新發現，發現時佛頭已不知去向，佛身埋在土石之中，風化嚴重。2007年起，太原市對蒙山大佛進行了保護和開發，加固了佛身，並參考太原出土的北齊佛頭重新修建。