Первоначально здесь было построено здание фермы с коровником, комнатами для пастухов, кухнями и кладовыми – скромный одноэтажный сельский домик с крышей, окрашенной в цвет соломы.
В 1838-1839 гг. по проекту архитектора А.И. Штакеншнейдера к Ферме была сделана двухэтажная пристройка, в которой разместились новые жилые комнаты для будущего наследника – Александра II. Обновлённое здание стало именоваться Фермерским дворцом, а хозяйство фермы было перенесено в западную часть парка, в здание Новой фермы.
После революции в Фермерском дворце размещался историко-бытовой музей. В годы Великой Отечественной войны 1941-1945 гг. в Фермерском дворце находился штаб немецкой армии; здание не получило серьёзных повреждений, но пострадала внутренняя отделка.
В послевоенные годы в здании располагалась база отдыха, общежитие, несколько лет здание пустовало и не ремонтировалось. Реставрационные работы были начаты в 2003 году, а в 2010 году музей распахнул свои двери для посетителей.