С начала 19 века берег реки Волги стал застраиваться домами богатых горожан. На Волжском берегу в 1822 г. по проекту архитектора Петра Яковлевича Панькова в стиле классицизма был выстроен и дом для ярославских губернаторов. После завершения строительства в доме поселился новый губернатор Александр Михайлович Безобразов. И именно здесь останавливались во время пребывания в Ярославле все русские императоры от Александра I до Николая II.
Этот представительный трехэтажный дом был поначалу центром целой городской усадьбы, в которую входили два флигеля, конюшенный двор и большой английский сад. Из дома в сад вел пандус. По бокам главного корпуса были установлены ворота со львами. Позже здание было перестроено по проекту Андрея Михайловича Достоевского - брата знаменитого русского писателя Федора Достоевского. Андрей Михайлович Достоевский работал в Ярославле губернским инженером. После перестройки выходящий на набережную фасад губернаторской резиденции стал строг и официален.
Сейчас в здании расположен Ярославский художественный музей. Губернаторский сад также открыт для посетителей. В нем экспонируется современная скульптура.