Василий Васильевич Лерхе, владелец дома, в 1836 году был пожалован дипломом на потомственное дворянское достоинство. Будучи выпускником медицинского факультета Дерптского университета, он сделал выдающуюся карьеру лейб-окулиста и основал первую в Санкт-Петербурге (и в России) глазную лечебницу. Лерхе также стал автором многочисленных научных работ в области офтальмологии.
Часть квартир в доме сдавалась в аренду. Так, в 1841 году в квартире №21 проживал известный русский писатель и общественный деятель Александр Иванович Герцен.
С конца 1840-х годов здание перешло во владение знаменитого купеческого семейства Елисеевых. Семья проживала здесь вплоть до постройки собственного дома на Большой Морской улице. После переезда Елисеевы сохранили право собственности на здание и продолжили сдавать его помещения в аренду. Среди арендаторов была фруктовая лавка купцов Смуровых, известных партнёров Елисеевых по торговым делам, а также одно из первых страховых обществ в России — компания «Саламандра».