В 1875г. при архиерейском доме, во флигеле, была пристроена школа певчих с Храмом в честь Калужской иконы Божией Матери. В главном доме жил епископ Феофан (Туляков), который в 1922 году был переселен во флигель. С приходом советской власти в здании архиерейского дома разместился детский дом № 4. С 1925г. до 1955г. тогда в здании действовала Глазная лечебница.