«Большой дом», как называли Дворец в XVIII веке, строился в 1769-1775 гг. под руководством московского архитектора Карла Бланка и был предназначен для торжественного приема гостей в летнее время.
Построенный из дерева в традициях русского зодчества, он имеет два этажа – парадный и антресоли, на высоком каменном цоколе, где размещались винные погреба и хозяйственные помещения. То, что усадьба не каменная, а деревянная, считается ее главной тайной.
Архитектура Дворца, выстроенного в стиле раннего русского классицизма, вместе с тем, типична для каменных дворцовых построек второй половины XVIII в.
Его фасад украшают три колонных портика: центральный – самый большой и торжественный, фронтон которого заполнен пышной резьбой по дереву вокруг вензеля «РS» под графской короной; боковые портики с лучковыми (полукруглыми) фронтонами украшены резными военными атрибутами. К парадному входу Дворца ведет центральный марш белокаменной лестницы и пологие пандусы – спуски для въезда карет. Пандусы фланкируют фигуры сфинксов – фантастических существ с женскими головами и львиными туловищами.