В доме с большим количеством светлых комнат, просторными залами и домашней церковью в честь Казанской иконы Божией Матери жили губернаторы и члены их семей. Они занимали второй этаж, а на первом и в юго-западной части дома работала губернаторская канцелярия.
Также дом был и резиденцией для приёма высоких гостей. Здесь останавливались императоры Александр I и Александр II, Николай I и Николай II, поэт Василий Жуковский.