很久以前，神宮皇后從三官徵戰歸來時，在瀨戶內海遭遇了狂風暴雨。 當船快要沉沒的時候，皇后向上帝祈禱，上帝傳來消息說：“把船的帆投進海裡，船就會朝著它該去的方向行駛。” 皇后照著吩咐來到了一個名叫友島的島嶼。島上供奉著數彥命和近江高野命，皇后獻上戰利品以感謝他們的救命之恩。 幾年後，皇后的孫子仁德天皇在友島打獵時聽到了這個故事。因此，為了避免給島民帶來不便，神社從島上遷至街對面的加太，並建造了一座寺廟。這就是加太淡島神社的由來。