Когда-то под этой небольшой церковью находились Святые ворота, ведущие к храму Святой Софии — главному собору Вологды. Где-то в 70-е годы XVIII века церковь упразднили, к храму проложили другие пути, а ворота заложили. В 1896-м в помещении бывшей церкви расположился один из первых городских музеев — Епархиальное древлехранилище. При советской власти коллекция древлехранилища легла в основу Вологодского краеведческого музея — ныне Вологодского государственного историко-архитектурного и художественного музея-заповедника.
Во второй половине XX века Архиерейское подворье реставрировали. Была отремонтирована и Воздвиженская церковь, в частности ей вернули четырёхскатную крышу и обновили главку.