Изначально на этом месте был построен деревянный дом и служебные строения. В 30-х годах XVIII века их заменили одноэтажным дворцом, к которому позднее надстроили второй этаж. В начале XIX века в усадьбе появились Летний дом, Каретные сараи, Садовый павильон, а также перестраивались служебные флигели. Архитектор И. Д. Корсини воздвиг чугунную ограду с воротами, украшенными гербом Шереметевых. В начале XX века на территории усадьбы появились двухэтажные торговые павильоны.
Жильцы дома
Семья Шереметевых (XVIII-XIX вв.)
С 1712 по 1918 годы дом принадлежал Шереметевым. В этих стенах венчались Н. П. Шереметев и актриса Прасковья Ковалёва, трагически скончавшаяся вскоре после рождения сына.
Анна Ахматова и её окружение (XX в.)
С 1918 по 1952 годы в доме жила Анна Ахматова, написавшая здесь "Реквием" и "Поэму без героя". Её первый муж, ассириолог и поэт Владимир Шилейко, и второй муж, историк искусств Николай Пунин, также связаны с историей этого места.