La torre se levanta en un farallón rocoso situado en el piedemonte nororiental del Cerro Carluco (1441 metros), a la salida del río Bedmar. Esta torre-atalaya es de planta cilíndrica, de 6,37 metros de diámetro y 12 metros de altura. 

Los muros miden 1,6 metros de grosor y están perforados por 3 saeteras. El interior esta dividido en 3 plantas. La planta superior tiene por cubierta una cúpula semiesférica que cubría la terraza. El encuadre exterior de las saeteras y el perfil de los vanos de la entrada a la torre y a la terraza, son de sillería. El resto de la torre, incluida la bóveda que sostenía la terraza, utiliza mampuestos en hiladas regulares, muy ripiados y calzados en sus huecos. 

El Castillo de "Quadros" aparece citado en un documento de Alfonso X de 1260. Actualmente sólo subsiste esta torre cilíndrica, que según las informaciones orales tomadas por M. Jiménez y T. Quesada (1992), fue construida sobre un edificio antiguo "de moros", que podría corresponder al "castiello" que cita el documento, ya que según estos mismos autores, la torre es claramente posterior al siglo XIII, siendo construida por los castellanos para proteger el paso que desde Bedmar cruza la Sierra hasta Cambil entre los picos de Sierra Mágina y Almadén. F. Cerezo y J. Eslava (1989) fechan su construcción a principios del siglo XIV. 

Así pues, tenemos una construcción anterior a la torre, hoy desaparecida, construida probablemente en el siglo XII, pues es en esta época cuando al-Jatib cita en su Ihata el topónimo "Qutrus" para referirse a este lugar.

A finales del s. XVI, lo único que queda en pie es la torre.