Усадьба начала формироваться в 1756 году, когда И.И. Воронцов-Вельяминов построил небольшой дом с угловыми пилястрами по линии Большой Никитской. В 1770-х годах владение перешло к Долгоруковым, при которых усадьба была расширена до Поварской улицы. Они построили два симметричных служебных корпуса по краям главного дома с круглыми угловыми помещениями. На рубеже XVIII—XIX веков главный дом усадьбы был надстроен мезонином, украшен двумя портиками и получил строгое классическое оформление фасадов.