Cuenta la tradición oral que, al venir a España San Eufrasio, discípulo del apóstol Santiago y primer obispo de Andújar, traía consigo una Imagen de la Stma. Virgen a la que rendía culto y devoción, y cuyo autor era San Lucas. En el siglo VII cuando Andújar fue ocupada por los árabes, nuestros mayores escondieron la Sagrada Imagen entre unas peñas en uno de los cerros más altos e inaccesibles de Sierra Morena para así evitar su profanación.
Cinco siglos después, ya reconquistada Andújar por Fernando III el Santo, dice la voz popular que en la noche del 11 al 12 de agosto de 1227 se encontraba el pastor de Colomera (Granada), Juan Alonso de Rivas, cuidando el ganado de un vecino de Arjona, cuando comenzó a ver unas extrañas luces en lo alto de un cerro y a oír el sonido incesante de una campana. Marchó entonces el pastor asombrado, entre peñas y matorrales, hacia la cima del monte conocido como de la Cabeza y en la concavidad de dos peñas, que le servían de tabernáculo, encontró una Imagen de Nuestra Señora.
Para que diera testimonio ante el pueblo de Andújar de tan milagroso hallazgo y como prueba de esta aparición, el pastor, que era manco del brazo derecho, quedó curado. Ante el asombroso acontecimiento muchos ciudadanos y las autoridades fueron a lo alto del monte donde hallaron la Sagrada Imagen tal y como el pastor les había indicado. Fue entonces llevada a la ciudad quedando depositada en la Iglesia de Santa María la Mayor donde pronto comenzó a rendírsele culto.
Los iliturgitanos, construyeron cerca de Andújar ermitas en San Amancio y San Gines, pero como la intención de la Stma. Virgen era que el pueblo le edificara una ermita en el cerro donde apareció, en varias ocasiones desapareció de la Iglesia donde trataban de e establecer su culto, siendo encontrada de nuevo en el lugar donde quería tener su casa. Finalmente, Andújar comprendió y aceptó los deseos de Ntra. Sra. y comenzó a construir en el cerro de la Cabeza un templo dedicado a su culto, bajo la advocación de «VIRGEN DE LA CABEZA».