Флигель усадьбы президента юстиц-коллегии и главного члена московской Монетной экспедиции Алексея Александровича Яковлева, деда революционера и писателя Александра Ивановича Герцена, был построен в 1770-х годах. Первоначально он был одноэтажным. Во время пожара 1812 г. он выгорел полностью и был восстановлен сразу после войны с французами.
В конце XVIII века владение купила Елизавета Михайловна Ермолова, сестра известного в Москве “последнего вельможи”, действительного тайного советника I класса князя Сергея Михайловича Голицына, дом которого был рядом. Около 1790 г. она вышла замуж за бывшего фаворита Екатерины II Александра Петровича Ермолова, которому принесла большое приданое. После переселения мужа около 1800 г. навсегда за границу Ермолова осталась в Москве и жила здесь. У нее воспитывался и с ней жил один только средний сын, Михаил, который после смерти матери также уехал во Францию. Е.М. Ермолова умерла в Москве 16 августа 1833 г. и погребена в Донском монастыре.