La dificultad no debería influir.... También puede ser que haya que cogerlos por orden para que aparezca el siguiente, (yo en su momento para hacer la guía los fui cogiendo todos por orden, no dejé ninguno) aunque es algo que me extraña bastante. Estoy buscando información y no encuentro nada al respecto.
Entonces o bien es un bug o te estás confundiendo de lado, es una tontería, pero suele pasar que te haces un lio a lo mejor al entrar al jardín por otro lado o yo que se... Supongo que ya habrás consultado la guía (aparte del recorrido, cada fragmento tiene su sección propia con imagenes) o incluso algún vídeo para verlo todavía más claro su localización ¿no?