Усадьба, принадлежавшая в XVIII веке Головиным, была отстроена в камне в самом начале XIX века знатным цветоводом и антикваром, графом Фёдором Толстым. Разбогатев за счёт брака с внучкой горнозаводчика Мясникова, он собрал одну из самых полных в России того времени коллекций редких книг и рукописей. Его родной брат Илья — дед Льва Толстого.
Большой господский дом классической палладианской архитектуры обращён фасадом к берегу Пахры, укреплённому каменной террасой. В центре среднего этажа, который считался парадным, помещался большой лепной зал в два света, где проходили балы и приёмы, с камином в стиле Людовика XVI. К дому примыкали два флигеля, в которые можно было попасть по низким каменным переходам. Ближе к реке были симметрично поставлены два других флигеля. «Рассчитанный на отражение в реке, на чудесную раму зелени, дом в Ивановском со стороны сада казался очень стильным и выдержанным»