El edificio fue construido a finales del siglo XVII por Juan Fernández de Isla, que había sido obispo de Cádiz desde 1676, y luego arzobispo de Burgos, a partir de 1680, hacia estos años manda construir este amplio palacio y restaura también la iglesia parroquial en la que funda su capilla funeraria. Fue antecesor de Juan Fernández de Isla, notable ilustrado del siglo XVIII creador del astillero de Guarnizo y de numerosas fábricas en Cantabria, bajo el reinado de Fernando VI.

Todo el solar se encuentra rodeado por una alta cerca almenada, jalonada por cubos circulares.

El edificio principal, de planta rectangular y dos alturas, muestra su fachada principal hacia el sur, con portada en arco carpanel entre pilastras rehundidas y balcón volado flanqueado por dos grandes blasones del arzobispo. Otros escudos más pequeños se advierten en los cubos de los esquinales. Tras este volumen aparece otro edificio retranqueado, de similar estructura y estilo, y al fondo, con forma de torre, la capilla privada, rematada en sus ángulos por pirámides herrerianas.

El edificio principal responde al modelo más difundido por la comarca de Trasmiera en el siglo XVII, de aspecto cerrado y caracterizado por poseer en la fachada principal, orientada al sur, una sola arcada, generalmente en arco escarzano, que da acceso a un pequeño pórtico o zaguán en cuyo fondo se halla la puerta de entrada, adintelada.