当山の縁起は大化年間（６４５〜５０年）天竺より飛来した法道仙人が、当地の人々の懇願により、阿弥陀仏を刻み一宇を建立したのに始まるという。また法道の開創を聞いた孝徳天皇より寺領と勅額を賜ったという。
１２０７年（建永２年）法然上人が土佐に配流される途中、当寺に一泊し神崎の遊女に法話を聞かせたと伝わる。 　 また当寺には「貞和４年墨書銘（１３４８年）」の不動明王が安置され、楠木正成が佐々木秀詮と一線を交えたとき、当地に本陣を置き、この不動尊に祈念し、勝利を得たという。
１５４１年（天文１０年）頃より、三好長慶が三津屋城を拠点とし、当寺をも支配したところから現山号を名乗るようになったといい、豊臣秀吉の頃には朱印地１町８反歩を有する寺院であった。