Há muito tempo atrás, São José vivia ao norte da ilha de São Jorge. Um dia, com o menino Jesus ainda pequeno e a Virgem Maria ele meteu-se num batel a remos e vieram navegando junto à costa e às grandes falésias da costa norte, algumas com mais de 600 metros de altitude.
Era um dia de sol e de mar manso e a viagem estava a correr bem. No entanto São José, prudente e conhecedor da costa norte, sabia que esta tinha muitas correntes e perigos escondidos, e por isso procurava sempre estar o mais ao abrigo da terra que lhes era possível.
Depois de muitas horas a navegar, São José estava cansado de remar e chegaram junto ao local denominado Pedra do Garajau, onde se lhes deparou uma enorme formação de terra, descendo desde as altas serras para entrar pelo mar e mergulhar nas profundezas dos oceano. Com pressa de chegar à localidade do Toledo para descansar, São José não pretendia remar ao redor de tão grande formação.
Confiando no poder Divino, levantou a mão, estendeu o dedo indicador e com ele tocou mais ao menos no centro da grande formação geológica. Como se em vez de uma maciça rocha de basalto, esta fosse feita de massa de pão de milho, logo o centro rochoso cedeu e deu origem a um buraco de grandes dimensões e ao nível da água, por onde São José a sua família passaram no seu barco a remos.
Chegando ao Toledo antes do fim do dia de Verão, a Sagrada Família gostou tanto da paisagem, do ar fresco da montanha, dos campos floridos com belos bardos de hortênsias, que resolveu fixar a sua residência para sempre no local. Rapidamente a população se afeiçoou à Sagrada Família e construíram uma ermida para a sua residência, tendo assim nascido a Ermida de São José do Toledo, sendo São José feito padroeiro do curato.
A formação geológica desta história encontra-se na divisório das localidades do Toledo e de Santo António e, segundo a lenda, a altura do buraco feito pelo santo é igual à altura da torre da igreja construída para guarida de São José. A pedra empurrada por São José para abrir caminho para a sua passagem encontra-se no mar a algumas dezenas de metros do maciço rochoso que lhe deu origem, formando um pequeno ilhéu que emerge ligeiramente acima das águas do mar.
Foi assim que, segundo a lenda, nasceu a Ponta Furada (encimada pelo Pico da Ponta Furada), uma das mais curiosas formações geológicas da ilha.