Территория парка «Ивановские пруды» когда-то являлась частью усадьбы Знаменское-Губайлово, основанной в конце XVII века боярином Иваном Фёдоровичем Волынским.
В 1743 году усадьба Губайлово была отдана в приданное дочери В.И. Волынского, вышедшей замуж за князя В.М. Долгорукова, а имение почти на 100 лет перешло во владение Долгоруковых.
В начале XVIII века село Губайлово стало собственностью Василия Волынского, внучка которого Анастасия в середине XVIII столетия вышла замуж за известного военного деятеля В.М. Долгорукова-Крымского (1722-1782). В 1775 году он вышел в отставку. К этому времени относится его пребывание в Губайлово и строительство типичного усадебного ансамбля конца XVIII века.
Большой дворцово-парковый ансамбль возведён во второй половине XVIII века, и есть основания полагать, что зодчий, проектирующий его, принадлежал к школе М.Ф. Казакова. При обследовании территории специалистам удалось отметить сходство плана павильона-ротонды на Ивановских прудах с аналогичным павильоном в Царицыно, где дворцово-парковый ансамбль после того, как по приказу Екатерины II был отстранён от работ архитектор Баженов, перестраивал М.Ф. Казаков.