Здание принадлежит к малоисследованным памятникам ансамбля. Возможно, что раскопанный археологами в 1964 - 1965 гг. «терем» сер. XII в. являлся предшественником существующего строения. В первой трети XVII в. возвели деревянные архиерейские кельи «на каменном основании» - северное крыло келий. Примыкающие к южному крылу две смежные библиотечные палаты отмечаются на планах Соборной горы только с нач. 1770-х гг. С 1760-х гг. кельи были соединены переходной галерей с домовой церковью Иоанна Предтечи.