В начале 1750-х гг. участок, на котором сейчас находится здание, перешел графу М.И. Воронцову. В 1753 г. началось возведение большого усадебного ансамбля, которое вел архитектор Джузеппе Трезини. Авторство дома, возможно, принадлежит А. Ринальди. В 1829 г. часть усадьбы была приобретена сенатором П.В. Мятлевым и стала наименоваться "Новознаменкой". В 1892 г. усадьба была передана городу для устройства Городской больницы-колонии для душевнобольных.