Владельцами дома - и участка под ним - в разные времена были выдающиеся личности. Так, в первой половине XIX в. участков владел британский торговец И. Барнес. В середине 1850-х гг. участок переходит к Л.П. Бруни - жене А.К. Бруни, знаменитого архитектора, принимавшего участие в строительстве Нового Эрмитажа и придворных конюшен в Петергофе. По его же проекту был создан и этот дом, вскоре ставший для именитого архитектора мастерской.
От семейства Бруни дом перешел к Ф.Н. Устрялову - общественному деятелю, автору многочисленных пьес и переводчику. Его пьесы шли в Александринском и московском Малом театрах.
В 1872 г. дом переходит к И.А. Панаеву - инженеру, который гораздо больше запомнился как редактор журнала "Современник" и писатель. Панаев владел участком до 1901 г. После его смерти дом перешл к его наследникамам и оставался в их собственности до Октябрьской революции.