На этом месте раньше стоял деревянный дом подполковника Соломона Мартынова. В 1819 году деревянный дом сгорел и до 1843 года сменил двух хозяев. 14 января этого года участок купил московский купец I гильдии М.М. Нестеров, который заказал проект трехэтажного дома у А.А. Пахомова. В конце XIX века дом оказался во владении у нижегородской купчихи Шугуровой, которая устроила в доме нижегородское отделение "Русского для внешней торговли банка".