Семейная роща была основана императрицей Марией Фёдоровной. По новой традиции по случаю рождения детей и внуков, их бракосочетаний, юбилеев и других знаменательных событий императорской семьи следовало собственноручно сажать дерево, привязывая к нему дощечку с надписью, повествующей о событии, которому посвящено дерево. Учитывая многочисленный состав семьи императора Павла I, занимаемая рощей площадь быстро увеличивалась.
В 1787 году в центре Семейной рощи была установлена Урна Судьбы, выполненная из зелёной устьянской яшмы. Традиция просуществовала до революции — после революции все дощечки с надписями были сняты с деревьев, а урна разбита. В 2009 году Урна Судьбы была отреставрирована и временно установлена в Большом дворце в кабинетике Росси; на своё историческое место Урна Судьбы может вернуться после реставрации пьедестала.