В 1803 году усадьба принадлежала купцу Л.А. Богатырёву и состояла из двухэтажного каменного дома и двух одноэтажных флигелей. В 1830 году здесь появляются Толоконниковы, расселившиеся позже по всему Замоскворечью. Этим же домом владел купец 2-й гильдии, почетный гражданин Василий Матвеевич Толоконников-Большой, проживавший тут с женой и младшим братом, тоже Василием Матвеевичем, но Меньшим.