Усадьба Гагариных находится в селе Заборовка Сызранского района. Село Заборовка – одно из самых древних в нашей области. Возникло оно еще в 1325 году. Во времена Екатерины II эти плодородные земли, богатые лесами и дичью, принадлежали одному из ее фаворитов – графу Валентину Платоновичу Мусину-Пушкину. Валентин Платонович за свою жизнь, как и его отец, так никогда и не посетил поместье в Заборовке.
Мусин-Пушкин перед смертью в апреле 1836 года в Москве завещал всё своё имущество вместе с заборовской усадьбой горячо любимой жене – актрисе Семеновой. Теща Гагарина, Семенова, выгодно продала её молодой семье. Согласно документам, сделка купли И. А. Гагариным у своей тещи Семеновой заборовской усадьбы состоялась в 1837 году. Хотя еще при жизни Мусина-Пушкина и уже сразу после свадьбы нижегородского помещика И. А. Гагарина и П. В. Мусиной-Пушкиной в начале 1830-х годов началось строительство нового усадебного комплекса на месте старого деревянного дома, где самое активное участие в финансировании и руководстве строительными работами принимал князь Иван Алексеевич.
После смерти князя Ивана Алексеевича усадьбу унаследовали его потомки, один из которых, Николай Иванович Гагарин, организовал в Заборовке большой конный завод, где разводили чистокровных рысаков для выездки, а по праздникам выезжали на каретах. В 1861 году, после отмены крепостного права, князья перебрались в Москву, а имение превратилось в дачу. Николай Гагарин распродал оставшиеся земли окрепшим крестьянским хозяйствам фермерского типа. От усадьбы остались только дом, сад и парк.
Последними владельцами дома усадьбы были три дочери князя Александра Гагарина – Мария, Наталья и Александра.