Levanta su estructura en el lugar que quedó libre tras el derribo en 1867 del Convento de San Francisco. Este parece ser que fue residencia de Fernando III a partir de la conquista de la ciudad, y donado más tarde por Pedro I, en 1354, a la orden de San Francisco, quienes a su vez lo transfirieron a los Observantes en 1524 hasta su demolición.

La magnitud de la construcción viene marcada por la finalidad del mismo, ya que albergaría no sólo a la Diputación, sino también el Gobierno Civil, Hacienda, Correos, Telégrafos y la Audiencia, lo cuales se irían desgajando paulatinamente a lo largo del s. XIX. Se debe a un proyecto del arquitecto de la Diputación Jorge Porrua y Moreno de 1871 que fue premiado en la Exposición Provincial de 1878. Tras su fallecimiento, las obras las reanuda el arquitecto Ricardo Martos en 1881, pero su renuncia posterior supuso que se hiciera cargo de la obra Justino Flores Llamas en 1884.

Adopta la planta de los palacios renacentistas italianos, con un clásico espacio centrípeto abierto a un elegante patio interior, con una fuente monumental. Se compone de dos plantas y sótano para caballerizas y otras dependencias, lo que da en el interior del patio un alzado de tres pisos, más un hemiciclo en el lado norte, traducido al exterior en forma de ábside semicircular. El patio ofrece una galería de arcos de medio punto, sobre columnas corintias descansando sobre antepechos. El segundo piso amplios vanos con vidrieras. El sótano presenta una maciza estructura de grandes pilares y bóvedas de aristas en ladrillo. La fachada destaca por sus proporciones. La portada, en el centro, queda resaltada por un triple vano de medio punto; las tres ventanas con balcón corrido del segundo piso y un remate de frontón partido donde se aloja un reloj y el escudo de la provincia.