В то время в зданиях прилегающих вплотную к усадебным постройкам располагалась принадлежащая им парусиново-полотнянная фабрика. В начале XIX века усадьбу купил калужский купец Иван Харитонович Билибин "Меньшой". В 1811 году Иван Денисович Ясныгин перестраивает усадьбу. В это время к зданию были пристроены дополнительные объемы с "итальянскими" окнами. От старого здания остались лишь белокаменные базы пилястр и ворота в стиле барокко.