Дом Байбакова — памятник архитектуры, построенный в 1826 году по проекту архитектора Андрея Ливена в стиле классицизма. В 1888 году к зданию были пристроены дворовые флигели по проекту техника Михаила Андреева. Объект признан выявленным объектом культурного наследия и имеет историко-культурное значение. Дом Байбакова отражает особенности городской застройки первой половины XIX века и связан с развитием архитектурных традиций того времени. В разные годы здание подвергалось капитальному ремонту, в том числе в 2011–2012 и 2015–2016 годах.