Самым известным владельцем усадьбы стал миллионер Петр Губонин, владевший ею в 1860 – 1880-х годах. Это был успешный железнодорожных подрядчик, за два десятка лет из простых крестьян выбившийся в промышленники.
В конце XVIII века фасад здания был перестроен в актуальном для того времени стиле классицизма. Усадьба несколько раз переходила из рук в руки: последним дворянским владельцем участка стал генерал от инфантерии Н. Д. Дурново.