Усадьба была построена в стиле, переходном от барокко к раннему классицизму для М.Р. Хлебникова, а в 1793 году особняк купил генерал-фельдмаршал П.А. Румянцев-Задунайский, полководец, прославившийся в Семилетней и Русско-турецкой войнах.
Современный облик здание приобрело в 1880-х годах. Тогда на фасадах здания появились живописные скульптуры и декор, в частности герб с ангелами и буквой «Г», что указывало на нового владельца, купца Митрофана Грачева.