Возведена по приказу Екатерины Второй для её невестки Марии Фёдоровны и изначально предполагалась в качестве многофункционального дворца-крепости. Здесь останавливались приближённые к императорской семье и различные именитые гости, такие как историк Н.М. Карамзин.
С подачи Павла Первого крепость была причислена к военному ведомству и стала полноценным фортом, оснащённым артиллерийскими орудиями.
В дальнейшем крепость неоднократно меняла своё назначение - в разные времена в ней размещались школа глухонемых, приходское и городское училища, детский дом и военный комиссариат. В 1919 году здесь непродолжительное время помщелася штаб Северо-Западной армии.
Во время Великой Отечественной войны крепость практически полностью сгорела и на долгий срок была заброшена, пока в середине 2000-х годов не была реконструирована.