Церковь Тихвинской иконы Божией Матери входит в ансамбль Казачьего Крестовоздвиженского собора. Церковь на всём протяжении своей истории неоднократно перестраивалась, в 1932 году была переоборудована под котельную и лишь в начале 1990-х здание церкви было передано верующим, возобновлены богослужения.