Дворец спроектировал Антонио Ринальди для фаворита Екатерины II — графа Орлова. При строительстве мраморного дворца было использовано 32 различных вида мрамора: греческие, итальянские, уральские, карельские и сибирские породы. С юга и со стороны Невы парадный двор ограничен кованой решеткой на гранитных столбах с мраморными вазами. В залах дворца размещены экспозиции – «Иностранные художники в России XVIII-XIX веков», «Коллекция петербургских собирателей братьев Ржевских» и «Музей Людвига в Русском музее».
В здании Мраморного дворца находится полицейский участок из «Майора Грома» и одно из выставочных пространств Русского музея. Здесь работал отец Грома (приквел «Трудное детство»), снимали фильм «Серебряные коньки» и сериал «Фандорин: Азазель».