Расположенный в одном из старейших зданий Ярославля, музей привлекает не только своей интересной историей, но и великолепной коллекцией. Само по себе здание (памятник архитектуры федерального значения) — это отдельный экспонат, подклет (подвал) здания со сводчатыми потолками, нишами, тягами и тайниками сохранился с ХIIV века. Верхние два этажа были полностью перестроены в 1820-х годах. Дом с мезонином, дом в стиле классицизма и, конечно, Дом общества врачей — именно под этими названиями знают дом ярославцы и гости города, а теперь узнают и новое название — Музей имени В. Ю. Орлова.
Три этажа отреставрированного, приспособленного для расположения коллекции и комфортного пребывания посетителей. Девять залов экспозиции: основные части коллекции — фарфор частных фарфоровых заводов России, коллекция изделий художественного чугунного литья уральских чугунолитейных заводов, столовое русское и европейское серебро.