Южная часть дома была построена в 1780 году как двухэтажный особняк воронежского коменданта А. И. Хрущёва. В 1792 году домом стал владеть губернатор О. И. Хорват. В 1795 году он продал его в казну, и вплоть до 1917 года это здание было официальной резиденцией воронежского губернатора.
После революции здание стало Домом народных организаций.
В настоящее время в здании находятся Федеральное казначейство и фонд краеведческого музея.