現在は陸続きだが、もともと香焼島であり、空海が護摩を焚いたら香気が広がったことから香焼と呼ばれたとかの話があるが、この石門には「香焼山」の文字が読める。
ここから、香焼山円福寺まで続く石段を登るのは大変。