Se construyó 1825 y fue diseñado por John Nash para el príncipe William Henry, duque de Clarence (de ahí su nombre) quien vivió allí como rey Guillermo IV entre 1830 y 1837.
Desde siempre ha sido una casa (jamás un palacio) y, desde siempre, ha destacado, también por su sencillez (típico estuco de Londres que cubre, en este caso, infinidad de parches) en el marco de gloriosos edificios (la vecina Lancaster House, por ejemplo) en los que sí se ha construido con grandes columnatas y suntuosas guirnaldas doradas.
Clarence House, frente a The Mall y cerca del palacio de Buckingham, fue el hogar de Elisabeth I desde 1952 (se trasladó a este edifico con su hija, la princesa Margarita, después de la muerte de su esposo, el rey Jorge VI) hasta su fallecimiento (marzo 2002) y, anteriormente, el de la propia Reina de Inglaterra, Isabel II, quien, siendo tan sólo princesa, se trasladaría (1949) a vivir a esta residencia con su esposo, el príncipe Felipe de Edimburgo y su hijo el príncipe Carlos, dieciocho meses después de la boda.
No obstante, y a pesar de que los primeros años del futuro Rey de Inglaterra transcurrieron entre las paredes de esta casa, a la que ahora volverá (siendo igualmente príncipe heredero) para iniciar una nueva vida junto a su familia, ésta probablemente pasará a la historia por haber sido durante cincuenta años el hogar de la Reina Madre. Un lugar creado a su medida en el que se rodeó de miles de objetos (obras de arte maravillosas, mobiliario de valor incalculable; una colección de huevos -también un flor- de Fabergé; que podrían alcanzar un valor de 40.000 euros por unidad; relojes de estilo inglés y francés, porcelanas, plata, etc.) y en el que vivió hasta el último día de su vida sin permitir que entrara en su casa un solo obrero.