根據水門神社的傳說，曾經每晚在貴水門附近的海面上都會出現神光，被海浪沖到海灘上的就是惠比壽的雕像。據說看到這一幕的居民在港村和田浜牛島建造了神社來祭拜它。然而，在明王時代（1491-1500），發生了一場大潮，雕像被埋在沙子裡。此後，居民將雕像移至西川岸町元美壽現址，據說於1523年6月23日被安奉在現址。 另外，吹上神社曾位於吹上三本松（現在的植松町南部），據說是在天正時代（1573年～1591年）供奉於此的。