Автор проекта дворца не известен. Первоначально здание состояло из трёхэтажного корпуса со стороны Невы и двухэтажного со стороны Марсова поля. Они были соединены между собой одноэтажным флигелем и крытой галереей со стороны Летнего сада. В XIX веке архитектор Стасов изменил облик здания: исчез висячий сад, на его месте надстроили один этаж со стороны Марсова поля и два этажа – с Лебяжьего канала. Частично были изменены и интерьеры, они меняли свой облик и позднее.