В конце 18 века территорию занимали руины Московской башни и вала. В 1795 году Колошину разрешили вместо деревянного флигеля поставить по Московской улице «каменную стену-галерею», а за ней, во дворе, - деревянный дом «дабы вид того дому был с лицевой стороны наподобие каменного строения». В 1822 году, используя каменную стену, Колошин возводит на этом месте одноэтажный дом с мезонином. Наконец, уже после 1895 года, когда усадьба принадлежала благотворительному обществу, над одноэтажным флигелем был сделан второй этаж. В 1871 году Я.А. Прозоров приспособил одноэтажный каменный флигель для устройства ремесленного приюта для девочек, он всё имение пожертвовал благотворительному обществу. Как и раньше, главное здание усадьбы по-прежнему отдавалось в аренду государственному банку: арендная плата была основным источником средств для приюта.