Деревянный храм во имя Нерукотворного Образа Спасителя был построен в середине XVI века после посещения монастыря Иоанном Грозным. В числе подарков, сделанных царем в благодарность за исцеление у Толгской иконы, был Нерукотворный Образ Спасителя. Эта икона стала святыней монастыря и почиталась как чудотворная. Небольшой, одноэтажный каменный храм во имя Нерукотворного Образа Спасителя поставили в 1710-х годах. В убранстве его фасадов использовали лепнину и скульптурные элементы. Купол храма увенчан девятью главами: одной большой и восьмью маленькими. Первоначально на южной стороне храма был устроен придел в честь Воскрешения праведного Лазаря. В 1793 году он был упразднен по ветхости, а в 1798 году усердием графа А.И. Остермана возобновлен и освящен в честь святителя Димитрия Ростовского. К церкви с западной стороны был пристроен двухэтажный корпус, который называли больничным: в нем с 1757 года жили нуждающиеся в уходе отставные офицеры. В 1798 году здесь разместилась монастырская больница. В 1806 году в Спасском храме расположились классы Ярославской духовной семинарии, а позднее — уездно-приходского училища. В 1836 году обветшавший больничный корпус вернули монастырю. При ремонте здания второй этаж был разобран. В 1880 году Спасский храм реконструировали, пристроили к нему новое крыльцо. С 1888 года здесь находились подсобные службы: трапезная, кухня, посудная, хлебопекарня.