Consumado el milagro de la aparición, la Sagrada Imagen fue traslada a la iglesia de Santa María la Mayor, en Andújar, que en ese momento era frontera con el reino musulmán. Se realizaron entonces varios intentos de construir una ermita, próxima a la ciudad, en el camino que conducía al Cerro y a donde posiblemente fuese llevada la Imagen comenzando a celebrarse las primeras romerías. Solo cuando al avanzar la frontera y quedar Andújar más retaguardia, pudo emprenderse las obras de un Santuario en el cerro, trasladándose allí la Imagen a su conclusión en 1304, y dando comienzo a las peregrinaciones devotas y las pintorescas romerías.
Durante los siglos XIV y XV la devoción a la Stma. Virgen de Sierra Morena se fue extendiendo, esto hizo que, junto a la Cofradía de Andújar, se formaran nuevas Cofradías, creciendo así las peregrinaciones al cerro, pero sin llegar a formar una masiva Romería, que se celebraba por entonces, el día ocho de Septiembre (Natividad de la Virgen). Sin embargo, la sequedad de la estación, al ser el final del verano, comenzó a plantear graves problemas de agua y pastos para el gran número de personas y animales que allí se concentraban, por lo que hacía el año 1485, fue necesario cambiar la fecha de la celebración pasando a celebrarse el último domingo de abril.
En el siglo XVI, fue muy importante para la difusión de la Romería, la creación de nuevas Cofradías en distintas localidades, sobrepasando el medio centenar a mediados de siglo, lo que obligó, en 1555, a la firma de una concordia que establecía el puesto que correspondía a cada Cofradía en Romería. La conversión del príncipe Muley Xeque en 1593, extiende aún más la devoción, así Cervantes y Lópe de Vega se refieren a la Romería y hasta el Rey Felipe II hizo retratar la fiesta para su Real Palacio de Madrid.
Con la llegada del siglo XVII, la Romería alcanzó su máximo esplendor convirtiéndote en uno de los acontecimientos sociales y marianos más importante de toda España, su fama llegó incluso a traspasar las fronteras de nuestro país, sobre todo en Iberoamérica (México, Perú, Bolivia), donde se levantaron magníficos Santuarios en honor de Ntra. Sra. de la Cabeza. Durante esta época fue nombrada Patrona de más de cien pueblos y aumentó el número de Cofradía hasta alcanzar sesenta y nueve censadas a finales de siglo, la cuales, tenían la obligación de concurrir a la Romería haciéndolo alguna de ellas con más de ochocientas personas.
De este siglo se conserva una perfecta visión de la celebración de la Romería en la obra publicada en 1677 por Salcedo Olid «Panegírico Historial de Ntra. Sra. de la Cabeza de Sierra Morena», donde describe como la organización de la Romería y de las Cofradías dependía de los Diputados de la Cofradía Matriz a cuyo frente figuraba el Prioste que, para distinguirse en Romería, vestía roquete y sombrero blanco, banda y báculo rojo; el Mayordomo roquete, sobrero blanco, báculo y banda del mismo color; los Diputados vestían banda y báculo colorados, y los cofrades túnicas blancas a modo de «alba» y roquete blanco para recogerse el pelo.
Las Cofradías que asistían cada año a la Romería, si no tenían casa propia, traían sus tiendas de campaña de lienzo encerado para alojarse, banderas de colores alegres, estandartes bordados de oro y plata (el de la Cofradía Matriz necesitaba de seis personas con horquillas para portarlo), así como cetros para los cargos, música, etc. Durante la noche, las Cofradías celebraban misas oficiadas por sus capellanes y la última era la de la cofradía de Andújar, oficiada por el Rector del Santuario y tras la cual salía la Imagen en procesión sobre andas de plata, a las que subían dos capellanes con casulla y bordones para proteger a los niños asidos a las andas de la gente que pretendía tocar la Imagen.
Durante el siglo XVIII, el fervor mariano disminuyó viniendo a menos la Romería. En 1773, durante el reinado de Carlos III, se decreta la disolución de todas las Cofradías y la prohibición de la Romería, sin embargo, la fiesta romera siguió celebrándose, sin la presencia de hermandades, gracias a su carácter netamente popular. El Rey derogó definitivamente lo dispuesto en 1782, reestableciéndose muchas de las Cofradías sin embargo el daño ya estaba hecho ya que a la Romería de ese año no asistieron más de 30 Cofradías.
En el siglo XIX, dejó de realizarse la Romería, por motivo de la invasión francesa, al tener que ser traslada la Imagen a Andújar y depositada en el convento de San Francisco de Asís para su protección. Tradicionalmente, la Romería sólo se había suspendido con ocasión de alguna epidemia, para evitar el contagio debido al gran número de personas que se concentran en el cerro del Cabezo. En el año 1841, por el decreto de desamortización, el Santuario y la Imagen pasaron a ser patrimonio nacional pese a todo siguió celebrándose las peregrinaciones al Santuario. En 1859 se anula la concordia de 1555 y se establece una nueva forma de ordenar las Cofradías ratificado posteriormente por la Cofradía Matriz en 1907.
Ya en el siglo XX, la Guerra Civil en 1937 afectó profundamente a Andújar y muy especialmente a su Santuario cuyo resultado final fue la perdida de numerosas vidas humanas, la destrucción casi total del templo y la desaparición de la Imagen, no se sabe si destruida o escondida. Sin embargo, la devoción y fidelidad de los devotos de Ntra. Sra. de la Cabeza hizo que, aún sin Imagen llegase a celebrarse dos Romerías. Tras la guerra una nueva Imagen ocupó su sitio en el camarín de un Santuario reconstruido, resurgiendo con fuerza de nuevo las Romerías y Cofradías Filiales que cada año acuden al Santuario para participar en la Romería más antigua de España.