En 1699 -año que figura en el remate de la portada del edificio- María Arias de Porres (Rozas y Treviño) heredó de su familia el titulo de Marquesa de Añavate aportandolos a su matrimonio con Juan Francisco Ruiz de Gaona y Portocarrero (Abad y Aranda), Caballero de la Orden de Calatrava y, en 1705, primer Conde de Valdeparaiso.

En los dos escudos que flanquean el balcón de la portada están esculpidas las armas de la esposa. Las mismas armas figuran en los cuatro escudos pintados sobre las pechinas de la cúpula de la capilla. Estas pinturas, descubiertas en la restauración, estaban ocultas por otros tantos escudos de tela, los cuales, probablemente, mandara realizar y colocar sobre los primitivos el Conde de Valdeparaiso cuando tomó posesión de la casa, pues en dos de ellos aparecen sus armas. Asimismo, hizo pintar en el muro central de la escalera un escudo cuartelado con sus armas y las de su esposa, afirmando con ello la propiedad del Palacio. El tema heraldico fué elmás usado para ornamentar los espacios y lugares del edificio. Entre ellos la portada, elemento cada vez más significativo del siglo XVI, es el lugar preferido por las familias para mostrar su linaje, manifestando así su poder.

El edificio ocupa una gran superficie y está situado en una de las áreas que rodean a la Plaza Mayor -primer espacio público y núcleo generador del tejido urbano- donde se concentraron los palacios de la aristocracia almagreña, transformando, a partir del siglo XVI, la villa medieval mudéjar en la ciudad burguesa con su arquitectura renacentista y barroca de fachadas blasonadas que rivalizan en la demostración del poder económico y social de las familias respectivas. La fachada da a la calle Bernardas y a la Plaza de San Francisco contigua. En este espacio están localizados también el Palacio de los Marqueses de Torremegía y el Convento de Bernardas, fundación de la familia Oviedo y antigua casa de la misma. Frente a la fachada el Conde Adquirió un solar en elque abrió una placita ajardinada que lleva su nombre y que realza el edificio sirviéndole de marco escenográfico.

Gran solar, ubicación en una zona reservada a las grandes familias, fachada flanqueada por torres, imponente portada, entorno teatral..., son emblemas del poderoso Conde de Valdeparaiso, Ministro de Despacho Universal de Fernando VI, Regidor Perpetuo de Almagro y el mayor propietario de de tierras, después de la Iglesia, de su término.

Es un ejemplo de arquitectura doméstica señorial cuyas características quedaron fijadas en el siglo XVI: trazado simétrico, como establece la tratadística desde el Renacimiento, en torno a un eje longitudinal que marca la portada -centrada en la fachada-, a la que suceden zaguán y patio porticado en dos plantas con crujias alrededor -construyen las dependencias para el servicio, establos, etc. Esta traza simétrica permite ver el patio interior desde la calle, convirtiéndolo en un espacio semipúblico, y sustituye, a partir del siglo XVI, la disposición mudéjar de la casa medieval, de direccionalidad quebrada que subraya la privacidad del espacio doméstico, preservando en todo momento la intimidad.

La fachada, flanqueada por torres cuadradas, presenta en sus dos cuerpos una disposición geométrica de balcones y ventanas y, en el centro, la portada. En su cuerpo inferior adintelado, dos columnas toscanas con guirnaldas flanquean la puerta remarcada por un baquetón con orejeras. En el segundo cuerpo, a cada lado del balcón moldurado, las escudos cuartelados familiares sostenidos por putti y submontados por un ángel que sustenta la corona marquesal. En los extremos, dos jarrones decorados con hojas de vid y racimos de unas uvas que contienen espigas.

La compleja ornamentación heráldica, exhibición de poder por el linaje, se completa con esa otra decoración vegetal que además de su significación religiosa convencional, podría estar aludiendo a los productos agrícolas, fuente de poder económico de los propietarios.

A través del zaguán se accede al patio. Es el elemento central organizador del espacio, generando a su alrededor las galerías porticadas y las crujías que albergan las distintas estancias porticadas y las crujías que albergan las distintas estancias. El pórtico adintelado, característico de esta arquitectura, presenta la habitual combinación de columnas de piedra y zapatas que sustentan las vigas durmientes y el entramado de madera de la galería superior, pervivencia de la tradición constructiva mudéjar. La galería superior estaba formada por pies derechos y zapatas con decoración geométrica. En origen descubierta, se tabicó en el siglo XVIII. En un ángulo de estos muros había restos en mal estado de frescos dieciochescos que representaban medallones con figuras, probables retratos familiares, que se ejecutarían en el momento de la remodelación de la casa cuando el Conde de Valdeparaiso la hizo su residencia.

La escalera claustral de tres tramos se abre en la panda derecha del patio. Conduce a la crujía de la fachada, donde se encortaban dependencias principales: dormitorios, sala de armas y capilla. Esta última, corresponde a la torre derecha y está cubierta con cúpula de yesería.