Особняк неоднократно перестраивался. В 1858 году архитектор Г. Э. Боссе расширил здание и оформил его фасады в стиле барокко, однако проект был реализован лишь частично. Позднее, в 1874 году, архитектор И. А. Мерц продолжил работы: переосмыслил и развил первоначальный замысел, в результате чего особняк приобрёл свои современные очертания.
В 1896 году дом перешёл во владение великой княгини Ольги Александровны — младшей сестры императора Николая II. Она проживала здесь вместе с супругом, принцем Петром Александровичем Ольденбургским. Для новых владельцев здание было вновь реконструировано по проекту архитектора С. С. Кричинского. Главный фасад украсили гербом, объединяющим символику династий Романовых и Ольденбургов. Внутреннее убранство создавали архитекторы М. Х. Дубинский и Н. Н. Рубцов.
В настоящее время особняк признан памятником культурного наследия федерального значения и находится под государственной охраной.