Особняк А.П. Гагариной — историческое здание, созданное в результате объединения двух домов в конце XVIII века. Перестройка была выполнена по проекту архитектора Джакомо Кваренги в 1798–1800 годах. Особняк выполнен в два этажа с мезонином, а со стороны двора был устроен висячий сад над конюшнями и сараями. Здание отличалось архитектурной выразительностью и было известно в городе, на него специально приезжали любоваться. За работу над этим проектом архитектор Кваренги был награждён крестом Святого Иоанна Иерусалимского. Особняк связан с именем Анны Петровны Гагариной (урождённой Лопухиной), которая была фавориткой императора Павла I и супругой князя Павла Гавриловича Гагарина.