Архитектором этого здания, как считают многие искусствоведы, мог быть Петр Яковлевич Паньков. Особняк был построен для семьи дворян Горяиновых и сразу же стал подлинным украшением города.
Массивный, рустованный первый этаж прорезан глубокими арочными нишами. Здание украшено двумя портиками с широко расставленными колоннами коринфского ордера. Особо эффектна полукруглая колоннада, огибающая здание. Чугунные решетки перед колоннами появились уже позднее - во второй половине 19 века.
В 1848 году особняк был продан ярославскому дворянству и в нем открыли дворянский клуб. А в 80-е годы 19 века бывший особняк Горяинова был приобретен за 28 тысяч рублей для Епархиального женского училища.
В 1879 году епископ Ярославский и Ростовский Ионафан обратился к епархиальному духовенству с предложением об устройстве приюта для осиротевших девочек. Идея была поддержана как духовенством, так и светскими лицами. В фонд будущего приюта начали поступать пожертвования. Со временем, идея о приюте переросла в мысль об открытии в Ярославле епархиального женского училища, которое и состоялось 1 октября 1880 года. Для малообеспеченных воспитанниц училища, отличавшихся успехами в учебе, независимо от сословной принадлежности обучение было бесплатным. Кроме того, владыка Ионафан учредил три стипендии для осиротевших воспитанниц, добившихся наибольших успехов в учебе. Впоследствии, в память о его создателе, училище стали называть - Ионафановским.
Сейчас в здании размещается главный корпус Ярославского государственного педагогического университета имени Константина Дмитриевича Ушинского.