En 1936, durante la Guerra Civil, el Palacio fue bombardeado quedando, después de estar varios días ardiendo, destruido y reducido exclusivamente a sus cuatro fachadas. El abuelo del actual Duque de Alba, don Jacobo, así como su madre, doña Cayetana, mandaron reconstruir las 200 dependencias, las tres plantas del palacio y los 26 salones para los que eligieron nombre y color