В XVIII веке усадьба принадлежала Нарышкиным. После смерти камергера А.В. Нарышкина усадьба переходит А.Ф. Грибоедову - дяде поэта и дипломата А.С. Грибоедова.
В 1806 году новым хозяином имения становится А.М. Зимулин. В том же году у него начинает снимать помещения для жилья и работы художник Тропинин.