Малый дворец "Каприз" первоначально был отдельным парковым павильоном. Сперва это было одноэтажное строение. В 1818-1819 годах над центральной частью здания был надстроен еще один этаж. Комнаты "Каприза" были роскошно декорированы, здесь висело много картин. В 1830-х годах этот уединенный дворец был превращен в обычные жилые помещения.