Первое монашеское поселение возникло в 1429 году, а в 1621 году по царскому указу требовалось укрепить монастырь, так как он был местом окраинным. В 1696 году закончилось строительство стен и башен. Кремль возводился как оборонительная крепость на Севере России и уже во вторую очередь как монашеская обитель и представляет собой девять боевых башен, укреплённых стенами. Длина по периметру всех стен крепости составляет 1,25 км. По периметру крепость напоминает вытянутый прямоугольник. В 1920 году монастырь был окончательно ликвидирован, а с 1990 года была восстановлена монашеская жизнь.