Tras la aparición de la Stma. Virgen en Sierra Morena, la Imagen fue traslada a la Andújar que en el siglo XVIII era frontera con los musulmanes lo que dificultaba el poder edificar un templo en el cerro, tal y como había solicitado la Stma. Virgen, por lo que la Imagen fue traslada, en un primer momento, a la ermita de San Amancio, situada en lugar próximo a la ciudad, en el camino que conducía al cerro y después a la ermita de San Ginés donde probablemente comenzaran a celebrarse las primeras romerías. Según cuenta la tradición, la Imagen misteriosamente desaparecida de estos lugares para volver a ser encontrada en el cerro donde se apareció.
Ermita del Rosario
La desaparecida ermita del Rosario fue construida por D. Alonso de Rojas Toboso, presbítero natural de Bujalance, bajo licencia del obispo de Jaén D. Sancho Dávila concedida el 5 de mayo de 1612. En dicha licencia de describe que movido por su devoción y por el mejor servicio de Dios nuestro Señor desea y pretende edificar, a su costa, un ermita en el Cerro de Ntra. Sra. de de la Cabeza y por en ella un altar con el fin de que pueda decir misa y celebrar divinos oficios en dicha ermita.
Poco meses después, el 11 de julio de 1612, D. Alonso, hace donación al Santuario de la ermita en la que había una imagen de Ntra. Sra. del Rosario que solía llevarse al Santuario en su fiesta y en día de la Candelaria. Así mismo D. Alonso solía retirarse en Cuaresma y Adviento para hacer penitencia a la ermita que finalmente y ante la falta de presencia de ermitaños en aquel sitio, y terminado el culto que ellos tributaban a Ntra. Sra., fue determinándose paulatinamente la ermita hasta su desaparición a finales del siglo XX.
