龍口寺の境内は、雄大な五重塔と仏舎利塔が目を引き、訪問者の足が絶えない名刹である。本堂へ至る石段の左手にある崖には複数の横穴遺構が認められ、格子戸で保護された主要な横穴内に仏像が安置されているほか、その先には石仏を祀る別の横穴が位置している。加えて、本堂左側の崖および左後方の崖にも横穴と思われる開口部が確認できるが、高さの制約により内部の詳細把握には至らず、古墳としての性質を特定するには至っていない。