Инициатором строительства дома, которое началось в 1820-х годах, был князь Михаил Долгорукий. В последующие 50 лет разные владельцы достраивали здание слева и справа. В 1857 году купец и потомственный почётный гражданин Василий Алексеевич Сиротинин стал обладателем всей территории дома, который также известен как дом с галерейками. В 1870 году он построил третий этаж с мезонином. Тогда же была выстроена и правая часть здания с лавками.
Изначально галереи дома Сиротининых были закрытыми, а дневной свет попадал внутрь через широкие окна.