На этом месте раньше стоял деревянный дом подполковника Соломона Мартынова. В 1819 году деревянный дом сгорел и до 1843 года сменил двух хозяев. 14 января этого года участок купил московский купец I гильдии М. М. Нестеров, который заказал проект трехэтажного дома у А. А. Пахомова. В конце XIX века дом оказался во владении у нижегородской купчихи Шугуровой, которая устроила в доме нижегородское отделение «Русского для внешней торговли банка».