Выстроен на казенные средства по проекту, присланному из Петербурга. Здание пострадало в пожаре 1788 г. и было восстановлено к 1800 г. (архитектор Александр Гучев). В 1833-1835 гг. к восточному фасаду дома был приложен полукруглый каменный алтарь главной домовой церкви по проекту губернского архитектора Петра Прамана. Произведение раннего классицизма, отражает характерные приемы русского дворцового строительства второй половины XVIII в.