Первый дом купца Михаила Васильевича Сибирякова, находившийся на углу Першпективной и набережной Ангары, там, где сегодня располагается каменный трехэтажный дом Бульвар Гагарина, 24, через некоторое время после строительства, примерно, в период 1804–1812, сгорел и обрушился. «…В числе частных каменных домов был лучший купца Сибирякова. Он был трехэтажный, выстроен в греческом вкусе и имел весьма красивую наружность, но казалось, гений города не благоприятствовал красоте зданий: вскоре по постройке дом Сибирякова сгорел и обрушился: целые стены вываливались. Впрочем, Сибиряков выстроил новый 3-х этажный каменный дом лучше и больше прежнего…», так писал об этом И. Т. Калашников. Новый дом, вероятнее всего, был копией первого. Этот вывод можно сделать из контракта на строительство 1814, где, в частности, говорится: «соблюсти всю прежнюю фасаду пропорцию», т. е. выполнить таким, какой был прежде. В июле того же 1814 М. В. Сибиряков скончался. После того, как большая часть наследников отказалась от прав на усадьбу, Ксенофонт Михайлович Сибиряков стал проводить строительные работы по дому. В основном строительство (или перестройка) здания было закончено, скорее всего, к 1821.