В 1755 году дом приобрёл Гаврила Демидов — внук Никиты Демидова, представителя знаменитой династии уральских промышленников. После его смерти, в 1761 году, владение было разделено между его сыновьями и Алексеем Матвеевым. В 1859 году здание было продано Александру Скребицкому за 130 тысяч рублей серебром. За годы государственной службы он скопил значительное состояние, что позволило ему приобретать земельные участки в разных губерниях и недвижимость в Санкт-Петербурге.
После смерти Скребицкого дом унаследовали его дочь Софья Стермпфельдт и вдова Анна Ивановна Лишина, его вторая супруга. Впоследствии Анна Ивановна вновь вышла замуж — её избранником стал генерал-майор Александр Андреевич Лишин.
В 1870-х годах на участке началось активное строительство доходных домов. В 1873 году академик архитектуры Роберт Гедике надстроил четвёртый и пятый этажи основного здания, а также возвёл аналогичный дом со стороны Демидова переулка. При реконструкции были сохранены оригинальные элементы фасада, включая лепные наличники. Позднее были надстроены и дворовые флигели — каждый на один этаж. В помещениях дома размещались мастерские и различные торговые заведения, что подчёркивало его коммерческое значение в городской застройке того времени.