С 1824 г. часть складских помещений в этом доме стал снимать родоначальник известной купеческой династии П.Е. Елисеев. Вскоре здание целиком стало собственностью Елисеевых. Данный складской комплекс считался самым современным сооружением, каждый сорт вина имел свое помещение. В 1920-е гг. часть зданий была передана Государственному Оптическому Институту. В 1938-1939 гг. дом перестраивался по проекту архитекторов Б.С. Ребортовича и А.И. Гегелло, были изменены фасады. Сейчас здание занимает учебный корпус ИТМО.