Предположительно дом был построен купцом и промышленником Афанасием Фирсовичем Олисовым в XVII веке. Но достоверных фактов этому, к сожалению, не найдено. В Нижнем Новгороде существует аналог этого дома — Архиерейские палаты Печёрского монастыря. С 1976 года здесь располагался Областной научно-методический центр народного творчества (ОНМЦ). В настоящее время «Дом Олисова» передан в пользование Нижегородской епархии, и там планируется разместить центр православного воспитания молодёжи.