豪族越智玉純がこの地が霊地であると感得、熊野十二社権現を祀ったのを機に鎮護国家の道場を建立し、聖武天皇（在位724～49）の勅願所となった。その後、行基が薬師如来像を彫造して本尊に祀り開基したという。 創建時は「安養寺」の名であったが、四国遍路のはじまりと伝承される衛門三郎伝説にちなんで「石手寺」に改名したと伝えられる。鎌倉時代の風格を備え、曼荼羅形式の伽藍配置を現代に伝える名刹で、堂塔の多くが国宝、国の重要文化財に指定されている。四国八十八ヶ所,お遍路旅はこおりタクシーへ。