Двухэтажный дом, возведенный в 18 веке, многократно перестраивался и окончательно был оформлен в 1875 году в стиле позднего классицизма, как главный дом городской купеческой усадьбы. На здании сохранились элементы раннего классицизма: угловые лопатки и ниши-впадины вокруг окон.
До революции этот дом принадлежал купеческой семье Друженковых. Семья торговала тканями и галантерейными товарами. Друженков Алексей Дмитриевич был не только предприимчивым человеком, но и заботливым отцом огромного семейства. Ярославцам хорошо был известен Дмитрий Алексеевич Друженков, владелец небольшого завода в деревне Дядьково и его жена Анна Николаевна, учредившие городской сиротский дом для девочек «без различия звания, сословия и происхождения». А Иван Алексеевич Друженков открыл в 1878 году исправительный приют для малолетних преступников. Известная «Графиня» Шереметева, урожденная Друженкова Елизавета Алексеевна, в первые годы Советской власти эмигрировавшая в Италию, оказывала помощь и поддержку оказавшимся там россиянам и была похоронена в Риме.