Это здание было построено в 1874 году для Ярославской духовной семинарии, которая, по сути, стала одним из первых учебных заведений города. Она была основана святым Дмитрием Ростовским как славяно-латинская семинария, и в 1747 году была переведена из Ростова в Ярославль.
Первоначально Ярославская духовная семинария располагалась в корпусе на территории Спаса-Преображенского монастыря, а в 1874 году семинаристов переселяют в это новое здание. На втором этаже учебного учреждения, на средства московского коммерции советника Епишкина, была устроена церковь во имя Дмитрия Ростовского. В семинарии, долгое время, находилась единственная в городе астрономическая обсерватория, «недурно устроенная и с хорошей трубой». Кроме того, это духовное заведение имело хорошо оборудованный физический кабинет, где можно было самостоятельно изготовить некоторые физические приборы. Позднее, рядом был сооружен ещё один учебный корпус.
В июле 1918 года, во время белогвардейского мятежа, стены корпусов семинарии укрывали от обстрела около восьми сот ярославцев.
В настоящее время здания занимает Ярославский государственный педагогический университет имени Константина Дмитриевича Ушинского.