Трёхэтажный дом был построен на месте деревянного особняка по заказу купца В.А. Квасникова. В 1840-х гг. здание принадлежало купцу Герасимову.
Одним из жителей дома в 1840-1850 гг. был популярный мастер иллюзионного жанра Апфельбаум. О его гастролях упоминает М.Ю. Лермонтов в повести "Княжна Мери".
В 1850-1860 гг. дом принадлежал графине С.П. Сумароковой. В 1853 г. в доме жил архитектор А.М. Болтов. В 1867 г. сюда переехал скульптор М.М. Антокольский. У него часто бывал И.Е. Репин.
С 1870-х гг. и до революции владельцами дома были князья Голицыны.