Здание выполнено в стиле ампир.
В 1820-е гг. участком владела княгиня Е.М. Хованская, гражданская жена В.А. Всеволожского - богатого помещика и владельца завода в Пожве на Верхнем Урале.
В 1822 г. здание было перестроено в классическом стиле по проекту А. Бетанкура. В 1836 г. для новой хозяйки дома Е.О. Горголи здание перестроили по проекту Е.Т. Цолликофера. В 1845-1847 гг. сооружение вновь претерпевает изменения для Статс-секретариата Царства Посольского.
Здание имеет три этажа, на фасадах имеется плоская рустовка, главная парадная украшена балконом с металлической оградой.
В 1876 г. дом передан Санкт-Петербургскому градоначальству. Затем здание было передано в ведение казны, здесь разместились учреждения губернского и уездного управления.