Cazalilla se incluye en el alfoz de Jaén que incluye los castillos y núcleos de población directamente dependientes de la cuidad. Jaén es clave en la conquista del valle del Guadalquivir, debido a su importancia como elemento estratégico frente a la frontera con el reino nazarí de Granada. Defendería el camino Alcalá-Martos, eje de la marca Calatrava y la cuenca del Guadalbullón.   

En la segunda mitad del siglo XV, durante la guerra entre la nobleza y el rey Enrique IV, Cazalilla es nombrada en diversas ocasiones en relación a su castillo. Uno de los hechos más significativos fue el acaecido el 23 de diciembre de 1471, en el que Fernando de Acuña, hijo del conde de Buendía, sobrino del Arzobispo de Toledo, fue prendido por el alcalde del castillo Diego de Frías, y se lo entregó al condestable Iranzo.

En el año 1479 Isabel la Católica escribe al corregidor de Jaén, don Francisco de Bobadilla, solicitando que la ciudad le pague tributo por la tenencia de las fortalezas de Torredelcampo, Fuerte del Rey, El Berrueco y Cazalilla.

En el siglo XVII, siendo Obispo don Baltasar Moscoso Sandoval y Rojas, se construyó la esbelta torre parroquial, en cuya fachada principal se encuentra su escudo episcopal y la cifra de 1622 como año de la construcción. Según algunas fuentes, se utilizaron para la torre piedras y materiales de un antiguo castillo. 

Esto, es sólo una hipótesis basada en el hecho de que se reaprovechó parte del torreón militar como sacristía y dependencia parroquial a modo de ábside, funcionalidad que mantiene en la actualidad.