La Casa Castillo de Jimena se encuentra situada en el extremo Noroeste del núcleo urbano, sobre una elevación rocosa, la Peña Bermeja, que configura el límite occidental del centro histórico de la población.

El edificio es el resultado de la suma de una serie de construcciones durante un proceso histórico a lo largo del cual el castillo medieval se va adaptando a las necesidades funcionales de una vivienda, hasta adquirir la doble naturaleza de Casa y Castillo que presenta en la actualidad. 

Aprovechando las estructuras de un recinto defensivo de época medieval, del que se conservan varios lienzos de muralla, la Torre del Homenaje y el Cuerpo de Guardia, se construyen a partir de época moderna y hasta época contemporánea una serie de cuerpos edificados que configuran una tipología de casa-patio unifamiliar de carácter señorial.

En general, el proceso de reutilización de las estructuras medievales consiste en el adosamiento a los lienzos de muralla, en un primer momento al interior y en una segunda fase al exterior, de una serie de volúmenes construidos que generan crujías cubiertas y divididas en dos o tres alturas, en las que se distribuyen las dependencias de la vivienda. El aspecto y volúmenes del edificio en la actualidad están condicionados, por tanto, y especialmente al exterior, por las estructuras de la vivienda que literalmente forran los restos del recinto medieval, con excepción de la Torre del Homenaje, que permanece exenta en altura, siendo visible desde el entorno inmediato.