Здание было построено в конце 18 века, но неоднократно перестраивалось. В 1833 году дом приобрели купцы Гарцевы, семья которых владела двумя мукомольными мельницами в Коровниках, вела торговлю мучным и хлебным товаром, а также сукном. Магазин по продаже сукна находился в нижней части этого дома. В 1850 году в семье Николая Ивановича Гарцева родилась дочь — Анна. Впоследствии, Анна Николаевна Друженкова, стала первой женщиной в Ярославле, удостоенной звания почетной гражданки города. После смерти мужа, Анна Николаевна посвятила свою жизнь благотворительности. Вместе с братом она содержала сиротский приют, а также богадельню для призрения бедных и неспособных к труду.
После революции Друженкова попала в «список буржуа, кулаков, торговцев…». Фигуранты этого списка облагались особым революционным налогом. Но платить этот налог ей было не из чего — собственного дохода бывшая купчиха, в то время, уже не имела, а жила «на вспомоществования родных и знакомых».