На этом месте первое здание построено в конце XVIII века. В августе 1864г. усадьба сгорела.
В 70-х годах XIX в. по начало XX в. особняк принадлежал князю М.М. Баратаеву, его жене, урождённой А.С. Глинке, их сыну С.М. Баратаеву, впоследствии общественному и политическому деятелю.
Затем особняк и соседний деревянный дом стали собственностью дворян Варламовых. В 1904-1918 г.г. в доме проживали юрист В.А. Варламов, его сын А.В. Варламов, впоследствии известный композитор. Здесь, у двоюродного брата А.Д. Варламова в 1912г. побывал выдающийся актёр К.А. Варламов.
В 1915-1919 г.г. в доме квартировал и принимал больных хирург В.С. Левит, впоследствии генерал-майор медицинской службы, в годы, Великой Отечественной войны - первый заместитель главного хирурга Красной Армии.
Историческое здание снесено в 1997г.
Новое построено в 2001г. по образцу утраченного.