Главный трёхэтажный корпус был размещён в глубине участка и ориентирован на Садовую улицу. С тыльной стороны к нему примыкал П-образный корпус, образующий закрытый внутренний двор с выходом в парк. По линии улицы были поставлены два симметричных двухэтажных флигеля, первоначально соединённые с главным зданием полуциркульными галереями (впоследствии разобранными). Главный фасад дворца украшен тремя выступающими частями. Центральная часть изначально включала въездную арку, позже она была заменена крыльцом с вестибюлем. Архитектурное оформление фасада отличается богатством: колонны по бокам входа поддерживают балкон, окна украшены фигурными наличниками, а на замковых камнях размещены львиные маски.
Интерьеры поражали великолепием и по пышности не уступали императорским дворцам. В оформлении широко использовались лепнина, резьба и плафоны работы Тьеполо. В центре находился просторный двусветный зал, а вдоль главного фасада тянулась анфилада из 50 залов.
Эта резиденция получила неофициальное название — Канцлерский дом. Однако строительство оказалось настолько затратным, что в 1763 году Воронцов был вынужден продать её в казну. До 1770 года дворец пустовал, а затем использовался как гостевой дом. Позднее он был передан российской ветви Мальтийского ордена. На воротах установили герб ордена: белый мальтийский крест на красном фоне. С тех пор дворец стал известен как «замок мальтийских рыцарей».