Esta Ermida é uma reconstrução no local onde teria ocorrido o milagre de Nossa Senhora da Nazaré. Segundo a tradição, em 1182, Dom Fuas Roupinho mandou construir a Ermida da Memória. Foi demolido o altar primitivo sobre o qual estava a imagem e soterrada a gruta.
Em 1370, o rei D. Fernando, mandou fechar os quatro arcos da Ermida para resguardar da ação do tempo, das chuvas e da maresia, o precioso tesouro.
Em 1616, Frei Bernardo de Brito, cronista do Reino, monge de Alcobaça, conhecido erudito e historiógrafo, veio ao Sítio, em cumprimento de um voto, e procurou pôr a descoberto a gruta onde se encontrava a imagem.
Por cima da porta de entrada, encontra-se o escudo real, em azulejo, que é um marco da presença régia. Ao nível do telhado encontra-se um baixo-relevo em pedra calcária, sendo este uma réplica do original, do século XIV. O verdadeiro baixo-relevo pode ser visitado no Museu Reitor Luís Nési, anexo ao Santuário.