Здание построено в стиле нарышкинского барокко. Согласно данным историков, дом был возведен зажиточным купцом по фамилии Ушаков. Примечательно, что исследователи до сих пор затрудняются сказать, для кого возводилось это здание. Архитекторы предполагают, что на верхнем этаже здания располагалась канцелярия, а на нижнем арестантская.