Дом, который был перестроен из барского в доходный, принадлежал некоему Арбузову. В середине-конце XIX века этот район, который располагался между Сретенкой и Цветным бульваром, именовался Грачёвкой. Здесь находилось большое количество публичных домов столицы, и, по словам автора произведения "Москва и москвичи" писателя В.А. Гиляровского, Малый Сухаревский переулок, который тогда назывался Малым Колосовым, считался одним из самых неприятных в этих местах.
Арбузов сдавал свои помещения под ночлежки. Здание должны были снести ещё в дореволюционные времена. Однако, то ли из-за связей Арбузова, то ли из-за большой концентрации криминальных элементов в этом районе, сделать это так и не получилось. По этой причине местные прозвали здание "Арбузовской крепостью".