Первоначально на месте современного павильона Росси находились «Золотые хоромы» - небольшой деревянный дворец жены Петра I императрицы Екатерины, просуществовавший до 1768 года. Павильон Росси представляет собой два помещения, квадратных в плане, связанных между собой сквозной колоннадой и полуротондой. Перед павильоном сооружена гранитная терраса-пристань, ограждённая элегантной чугунной решёткой.
Примечательно, что зодчий разместил павильон не по главной оси Михайловского дворца, а сдвинул его к восточному углу сада — в створ продольной оси Марсова поля, что позволило павильону композиционно связать два ансамбля.