西明寺に伝わるところでは、天平（てんぴょう）４年（７３１年）、行基菩薩の草創で、天平１１年（７３９年）、落成（らくせい）を祝う供養が行われたといわれています。

延暦（えんりゃく）元年（７８２年）には一山１２坊を数えて大いに栄え、また延喜（えんぎ）５年（９０５年）には観音像が造られました。

しかし、約２２０年後の大治（だいじ）２年（１１２７年）に兵火にあって堂塔１２坊とも焼失してしまいました。

その後、治承（じしょう）２年（１１７８年）、堂塔が再建され、承元（じょうげん）３年（１２０９年）には本堂が修理されました。

さらに建長（けんちょう）７年（１２５５年）、平時頼（たいらのときより）によって七堂伽藍が再興されて壮麗を極めました。

正平（しょうへい）６年（１３５１年）には再び兵火にあいましたが、約４０年後の応永（おうえい）元年（１３９４年）、益子勝直（ましこかつなお）によって再建され、明暦（めいれき）元年（１４９２年）には楼門が、天文（てんぶん）７年（１５３８年）には三重塔（さんじゅうのとう）が建立されました。

その後、元禄（げんろく）１４年（１７０１年）には本堂の再建、正徳（しょうとく）４年（１７１４年）には閻魔堂（えんまどう）の建立、享保（きょうほう）７年（１７２２年）には鐘楼の再建がなされ、現在の形になったといわれています。