Усадьба Вороново возникла на рубеже XVI-XVII веков при А.И. Воронове-Волынском. И.И. Воронцов, женившись на дочери А.П. Волынского, стал следующим владельцем поместья.
После смерти И.И. Воронцова усадьба Вороново перешла к его сыну — Артемию Ивановичу. При нём был сооружён большой, роскошный усадебный дом. Он сгорел в 1812 году, причём от руки уже следующего своего хозяина — московского генерал-губернатора Ф.В. Растопчина. После сдачи Москвы французам Растопчин решил сжечь свой дворец, чтобы он не достался неприятелю.
Имение было восстановлено в измененном виде при графах Шереметьевых в середине XIX века.