В 1669 году был переосвящён из униатского монастыря базилиан. До 1703 года в монастыре жили смоленские архиереи. Первоначально постройки были деревянными. Каменный Троицкий собор воздвигнут между 1672—1675 годами по инициативе смоленского митрополита Варсонофия Еропкина на средства из казны, предположительно, московским зодчим Иваном Калининым. В те же годы к северу от собора построен деревянный дом для настоятеля (разрушен в 1943 году, хотя под асфальтом сохраняется обширный Г-образный подвал). В 1697 году собор пострадал от урагана, а в 1727 году перестроен под руководством епископа Гедеона: возведен второй этаж, с севера к алтарю пристроена ризница. В 40-е годы XVIII века с юга к собору пристроена каменная усыпальница над захоронениями смоленских митрополитов. В те же годы выстроена и колокольня. В 60-х гг. XVIII века построена Аннозачатьевская церковь, которая с 1767 года стала больничной. В конце XVIII века построена ограда. В конце XIX века перестроены ограда и верхняя паперть Троицкого собора.