В конце XVIII века на этом месте располагалась усадьба штабс-капитана П.Н. Дмитрова, позднее перешедшая к князю А.Н. Вяземскому. В 1840-х годах владение было разделено на две половины: одну получил Даниловский сахарный завод и ресторатор И.Я. Тестов, а другую приобрел купец Яков Яковлевич Ермаков. Бывший крепостной графов Шереметевых, он еще в своем родном селе Мещерино Коломенского уезда создал собственное ткацкое производство, которое вскоре стало самым большим в округе. Выкупившись на волю вместе с семьей в 1838 году, Ермаков переехал в Москву, записался в купечество и на купленном участке за Трехгорной заставой открыл ситценабивную и красильную фабрику. Его сын, Фрол Яковлевич, развил дело отца, превратив фирму «Яков Ермаков с сыновьями» в одну из самых успешных в Москве.