Дом построен в стиле классицизм. С конца XVII пренадлежал купеческому семейству Билибиных, пока в 1845 г. во владение им не вступил архитектор А.П. Брюллов, который взялся за капитальное переустройство жилища.
В качестве референса как для интерьера, так и для экстерьера Брюллов использовал образы Древнего Рима о чем говорят барельефы и мощные лестницы с мраморной облицовкой. До недавних пор, на полу в парадной можно было различить сложенную и зкусочков черного мрамора надпись на латыни - "Salve", что служило приветствием для всех входящих. Во дворе дома помещались фонтан и статуя Аполлона, которая сохранилась по сей день лишь частично.
Часть дома, выходящая к Тучкову переулку, после 1850-х была перестроена, квартиры здесь сдавались. В начале XX в. всем домом владел зять Брюллова - архитекторв П.Ю. Сюзор, основавший здесь музей.
После революции здание неоднократно меняло владельцев: здесь размещались библиотеки, детские сады и даже складские помещения разных комбинатов. До наших дней здание дошло уже сильно изношенным и в 2013 г. признано аварийным. Сейчас ведутся ремонтные работы.