传说观世音所住的普陀山本在印度的海岛上。但因为距离中国太远，中国的佛教徒想去朝拜很是不易，于是就舍远就近，在中国替观音寻觅了一个地方，这就是浙江舟山群岛的梅岑岛。

相传，唐时有个印度僧人在岛上的潮音石洞焚烧十指，礼拜观音，忽然洞内大放异彩，观音被其感召而现身，于是这里就被传为观音显圣的地方。此后的一日，日本僧人从五台山迎奉了一尊观音像回国，途经这里时，突遇风暴，船不能行。他们认定这是观音菩萨不愿东去，于是把像留在了岛上，人们便依此建了一座“不肯去观音院”。