В 1672 году монастырь сильно пострадал от пожара. Однако у обители было немало состоятельных вкладчиков и благодетелей, поэтому восстановление происходило довольно быстро. Так, к 1689 году монастырь был обнесен каменными стенами с башнями, сохранившимися до наших дней.
В 1926 году Борисоглебский монастырь закрыли и отдали его под краеведческий музей.
В 1932 в монастыре разместили управление Дмитлага.
Далее в нем находились военные части.
В 1993 году начинается восстановление монастыря.