В 17 веке эти владения принадлежали боярину Никите Романову, родственнику царя. Наследников у него не было, и палаты перешли к его племяннику, царю Алексею Михайловичу. Женившись вторым браком на Наталье Нарышкиной, царь отдал двор ее брату Льву Кирилловичу. Его сын Иван в 1730 году выстроил тут палаты. Его дочь Екатерина вышла замуж за графа Кирилла Разумовского, младшего брата фаворита императрицы Елизаветы Петровны. При нем возник этот удивительной красоты комплекс, состоящий из главного дома и двух выступающих боковых флигелей.
Фасады и интерьеры были декорированы в 1778 году, возможно, по проекту французского архитектора Шарля де Вайи, который работал в Кускове. Сын графа Кирилла Алексей был женат на дочери владельца Кускова, графине Варваре Петровне Шереметевой. Дом настолько красив, что некоторые исследователи связывают его с именем архитектора Баженова. Блестящий вельможа, Алексей Кириллович в 1784 году решил разъехаться с женой и жить отдельно. Для чего построил себе усадьбу на Гороховом поле, где поселился с мещанкой Марьей Соболевской, от которой имел 10 внебрачных детей – Перовских.
Источник: Узнай Москву