Бывший доходный дом купцов Пастуховых - каменное трехэтажное сооружение, выстроенное в 1848 году на месте сгоревших во время пожара ветхих строений и поразило горожан своими размерами.
Пастуховы торговали железом, скобяными изделиями, хлебом и слыли одними из самых богатых людей в городе. В подвальном этаже здания, купцы держали винные погреба, на первом этаже было 14 магазинов, на втором и третьем этажах – гостиница и квартиры.
В свое время, в гостинице любил останавливаться Николай Некрасов. А Александр Дюма, побывав в Ярославле записал: «Не менее приятно для путешественников то, что в Ярославле находится одна из лучших гостиниц в России…, где имеются настоящие кровати. Её владелец, кажется дважды или трижды миллионер, но он разбогател не только благодаря кроватям своей гостиницы, а еще и потому, что торгует железом по всей России».
Украшением этого дома до сих пор служит нарядное чугунное крыльцо и великолепная внутренняя лестница ажурного литья, изготовленная на заводе Пастуховых. Говорят, что на этой лестнице иногда показывается призрак молодой девушки, погибшей здесь от несчастной любви.
В конце 19 века в этом доме, размещалась гимназия Корсунской и было выделено помещение для первой в городе бесплатной библиотеки – читальни.
Во время белогвардейского восстания 1918 года в этом здании временно находился штаб белой гвардии, а на третьем этаже содержались пленные красноармейцы.