Точная дата строительства усадьбы неизвестна. В конце XVII - начале XVIII века усадьба принадлежала торговцам Евреиновым, которые сделали своё состояние при Петре I. Позже во второй половине XVIII века дом был продан Федору Ивановичу Соймонову - адмиралу и географу, который очень увлекался путешествиями.
Следующим владельцем дома стал отставной полковник Иван Родионович Кошелев, человек родовитый и богатый, имевший в Москве много родни. После смерти полковника его жена Дарья Николаевна Кошелева продала дом Н. С. Перлову. Таким образом в 1836 году род чаеторговцев Перловых надолго обосновался на 1-й Мещанской улице. Практически сразу после покупки дома на первом этаже открылась знаменитая лавка по продаже чая, а на территории дома разместилась чаеразвесочная фабрика.