Двухэтажное каменное здание с подвалами появилось на углу Яузской улицы и одноименного бульвара в 1770–1780-е годы, когда усадьба принадлежала купцу П.И.Заборову. Создавая ее, он объединил два участка: сначала купил три «лавочных места» у купчихи М.С.Панковой, а затем – два земельных надела у купца Ф.С.Сафонова. Так что владение это – исконно купеческое.
Дом Заборова уцелел в основе нынешнего усадебного дома, он составляет его центральную часть. Пострадавший в пожаре 1812 года дом был в конце 1810-х или в начале 1820-х гг. восстановлен и отделан в стиле зрелого классицизма. Симметричный фасад по Яузской улице удачно маскирует «неправильность» дома, расположенного на угловом участке в квартале, так что продольные капитальные внешние и внутренние стены отнюдь не перпендикулярны главному фасаду.