Городская усадьба с домом и каменным флигелем была выстроена в конце XIX века и принадлежала дочери выдающегося русского военного и государственного деятеля 1860-1870-х гг. генерала-фельдмаршала Д.А. Милютина - Ольге Дмитриевне Милютиной. При доме был открыт приют для бедных гимназисток из загородных семей, принимавшихся на полное содержание.