Еще в середине XVIII в. территория современного домовладения являлась частью большой усадьбы князя Бориса Алексеевича Голицына, но уже к 1766 г. выделилась в отдельное владение и принадлежала прапорщику лейб-гвардии А. П. Астафьеву. Вся застройка усадьбы того периода погибла в крупном пожаре 1773 г., когда сгорела значительная часть Москвы в пределах Белого и Земляного города.
Владельцы начали новое строительство, разместив главный дом ‒ «деревянные хоромы» ‒ по центру усадьбы. Единственным каменным зданием в застройке двора была «каменная палатка» в один этаж, где, вероятно, была кладовая. Строительство завершилось в 1774 г., хозяева поселились в главном доме ‒ «хоромах», а часть усадьбы стали сдавать в аренду. В 1781 г. Астафьев продал свой двор княжне П. Г. Вяземской. На планах того периода зафиксированы покои, по форме и местоположению аналогичные современному строению 1. Вскоре Вяземская продает домовладение «с каменным и деревянным строением» жене московского экономии директора надворного советника И. И. Энгельгардта Аграфене Степановне. Новая владелица немного расширяет границы усадьбы, прикупив часть соседнего участка и «пустопорожние земли» со стороны территории современного Тверского бульвара. А в 1785 г. передает свою территорию графине А. С. Салтыковой «в вечное и потомственное владение». К 1792 г. были возведены основные архитектурно-планировочные элементы усадебного комплекса: вдоль красной линии Большой Бронной улицы расположились главный дом с каменным первым и деревянным вторым этажами и двухэтажный жилой каменный флигель с парадными проездными воротами между ними. Изображение усадьбы Салтыковой (планировка и фасады строений) можно увидеть в альбомах М. Ф. Казакова, составленных около 1801 г.
В 1806 г., когда новым хозяином владения стал генерал-майор Ю. И. Поливанов, большая часть строений сдавалась внаем, причем среди арендаторов преобладали иностранцы «саксонской и прусской нации». Усадьба чудом уцелела в пожаре 1812 г., следовательно, полностью не перестраивалась, однако в 1813-1821 гг. на ее территории все же проводились строительные работы, в том числе в центре двора был возведен нежилой каменный флигель, в основном завершивший формирование владения. С небольшими перестройками сформировавшийся в 1820-е гг. усадебный комплекс сохранялся до 1880-х гг.
В 1883 г. новый хозяин ‒ коллежский советник Н. П. Строев изменил декор фасадов главного дома, выполнив его в стиле эклектики.
В 1900-х гг. часть строений усадьбы были заняты под ресторан (трактир купчихи Комаровой), Мужское Арбатское училище, Бюро охранного отделения, лавки и пр. В частности, в 1913 г. помещения в главном доме сдавали клубу Общества любителей борьбы и атлетики. А с 1914 г. дом сдавали под устройство балов.
После революции в зданиях бывшей дворянской усадьбы располагались коммунальные квартиры. В 1955 г. была проведена реконструкция главного дома и одного из флигелей, в дальнейшем здесь разместили Библиотеку им. Н. А. Некрасова.