Присутственные места, трехэтажное кирпичное здание для размещения правительственных губернских учреждений было построено в 1834–1839 гг. как часть архитектурного ансамбля Соборной площади.
С 1860 г. по неизвестным причинам здание стояло без крыши и в 1866 г. было приобретено казной у чиновника Домбровского. Архитектор неизвестен, но очевидно, что при планировании были использованы чертежи образцовых проектов – здание сооружено по всем канонам классического градостроения начала XIX в. Фасад сложно декорирован, внутри помещение украшено узорчатой чугунной лестницей со столбцами, одной из самых больших и красивых в городе.
В 1860-е гг. был достроен третий этаж. В двух расположенных по бокам флигелях, соединявшихся со зданием сплошной высокой каменной оградой, размещались губернский архив и губернская типография. Архитектура фасадов находилась в стилистическом единстве с соседним зданием Губернской мужской гимназии. В 1998 г. в здании произошел пожар, во время которого пострадало его правое крыло. В настоящее время реконструкция здания завершена.