Этот двухэтажный дом (по 15 комнат в этаже) на углу бывшей Солдатской (она же Казарменная) площади и Ильинской улицы построил Я.Т. Толстых. После начала 1890-х годов дом купил Иосиф Люцианович Рыцк. В 1920-е годы это здание использовалось под казарму. В 1995 г. это здание было выделено городской администрацией церкви пятидесятников «Новая жизнь» и в течение 1996-2000 гг. реконструировано и достроено вторым зданием по проекту архитектора А.И. Кузьмина.