縁起によれば、創建は四国霊場で最も古い推古4年（596）で、讃岐の領主佐伯家の氏寺として創建されたという。弘法大師が訪れたのは唐から帰朝した翌年で、亡き母玉依御前の冥福を祈るためだったといわれている。唐の青龍寺にならって伽藍を建立し、唐から持ち帰った金剛界と胎蔵界の曼荼羅を安置し、寺名を曼荼羅寺と改めた。中世には、善通寺と所領を巡って争うほど隆盛を極め、西行法師が昼寝をしたという「昼寝石」が残っている。四国八十八ヶ所,お遍路旅はこおりタクシーへ。