Первоначально дом и прилегающий участок принадлежали дворянскому роду Беобразовых, представители которого занимали важные должности на военной и государственной службе. Позднее собственность перешла к архитектору Льву Фёдоровичу Яфе — автору проектов нескольких зданий в центре Петербурга. В 1882 году он провёл капитальную перестройку особняка, после чего уже в 1883 году продал его промышленнику Альфонсу Фомичу Поклевскому-Козеллу.
В память о приобретении Альфонс Фомич украсил фронтоны здания собственными монограммами, которые сохранились до наших дней. Дом служил не только резиденцией владельца — часть помещений сдавалась в аренду. С 1888 по 1892 годы здесь проживали поэт Я. П. Полонский и композитор П. И. Чайковский.
Здание выполнено в стиле эклектики. Сегодня здание признано памятником культурного наследия и находится под государственной охраной.