Первоначально здесь находилась дача министра финансов и министра Департамента уделов Д.А. Гурьева.
В 1855 г. Оппенгейм открыл здесь увеселительное заведение «Вилла Боргезе», которая в 1858 г. была переименована в «Villa mon de Brilliant», а в 1860 г. — в «Кафе-шантан».
В 1863 г. участок приобрел домовладелец Г.И. Рауде, он построил собственную дачу «Хуторок» и проводил здесь увеселительные мероприятия. В 1870-х гг. участок принадлежал надворному советнику А.В. Шереметеву.
Существующий облик здание приобрело благодаря архитекторам Ф.С. Харламову и В.И. Токареву. Тогда дом строился для богадельни петербургского купеческого общества. Богадельня и школа устраивались на средства купцов Ф.М. Садовникова и С.Г. Герасимова.
В 1919-1924 гг. здесь располагался Третий педагогический техникум (будущий Педагогический университет им. А.И. Герцена). В 1930-х гг. в здании находился Центральный карантинно-распределительный пункт, в годы Великой Отечественной Войны - госпиталь.
С 1950-х гг. здесь размещались Противотуберкулезный диспансер со стационаром и кафедра легочного туберкулеза Медицинского института.