В 1873 году московский купец, текстильный фабрикант Митрофан Грачев покупает часть старой усадьбы князей Хованских. Перестроить ее он поручает своему любимому архитектору П.П. Зыкову. Павел Петрович Зыков (1821—1887) был известен как мастер храмовой архитектуры периода эклектики. Образование получил в Московском дворцовом архитектурном училище, позднее там же работал преподавателем. Он объединил два ранее стоявших здесь строения, соорудив над встроенной частью купольную кровлю и аттик с вазонами.
В середине XIX века владение принадлежало историку-москвоведу Д.И. Никифорову, получившему известность своими воспоминаниями «Из прошлого Москвы», «Старая Москва» и другими произведениями. В 1872 году здесь скончался живший в усадьбе государственный деятель, один из главных разработчиков Крестьянской реформы 1861 года Н.А. Милютин. Митрофан Грачев слыл в Москве за оригинала после того, как в 1895 году в своей усадьбе выстроил дом в виде точной копии казино в Монте-Карло. С тех пор по Москве стали ходить упорные слухи, что свои богатства, позволившие ему скупить «пол-Москвы», он выиграл в рулетку.