В основе главного усадебного дома, стоящего торцом к переулку – палаты середины XVIII века. Усадьбой в это время владел тайный советник и генерал-майор Иван Иванович Дивов. Он недолго состоял в должности генерал-полицмейстера Москвы, и после возвращения в Петербург свою московскую усадьбу сдавал. Главный дом усадьбы, тогда двухэтажный, был построен в стиле барокко – его парадный фасад оформлял портик с белокаменными ионическими капителями, окна украшали нарядные наличники. Дворовый фасад дома был обращен в сторону большого сада с прудом, который доходил почти до нынешнего Садового кольца.
В 1783 году наследники Дивова продали усадьбу генерал-майору Василию Сергеевичу Нарышкину, принадлежавшего к знаменитому дворянскому роду. Нарышкин перестроил главный дом в стиле классицизма – палаты, надстроенные третьим этажом, получили совершенно новое декоративное оформление – оба фасада, главный и дворовый, были украшены пилястровыми портиками коринфского ордера с фризом в виде гирлянд. В треугольном фронтоне разместился герб рода Нарышкиных. Классицистические флигели и хозяйственные строения образовывали вместе с главным домом ансамбль парадного двора усадьбы. Сложившийся в конце XVIII века классический облик усадьбы дошел до нашего времени практически без изменений. Усадьба почти не пострадала во время пожара 1812 года.