Здание было возведено в конце XVII века и изначально предназначалось для больничных палат. Одноэтажное строение включало два помещения, между которыми находилась церковь Трех Святителей, освященная в 1698 году. Аналогичную симметричную композицию можно увидеть в трапезных палатах с церковью Рождества Христова. В XVIII веке здание подверглось перестройке и стало использоваться как жилье для представителей царской семьи. По проекту М. Ф. Казакова был добавлен второй этаж. В декабре 1941 года сооружение значительно пострадало, однако реставрация, завершенная в 1962 году, восстановила внешний облик здания, максимально приближенный к его виду конца XVII века.