Первое, основное здание дворца было построено в 1697-1698 годах по заказу царя Петра I для его друга и сподвижника Франца Лефорта, генерала и адмирала, участника многих петровских военных кампаний. Строительство велось за казенный счет, руководил им «каменных дел мастер» Дмитрий Аксамитов. Здание дворца, состоявшее из нескольких разновысотных объемов (теремов), главным своим фасадом было обращено к Яузе. В центральной части в уровне первого этажа были устроены три проездные арки, второй этаж занимал большой парадный двусветный зал, предназначенный для приемов и праздников – он мог вместить одновременно до 1500 человек. В боковых двухэтажных частях дворца располагались жилые покои. Три дворцовых терема соединялись между собой сенями, где были устроены парадные подъезды с лестницами; каждый из объемов здания был увенчан высокой черепичной кровлей, выполненной на европейский манер. На главном фасаде здания, в центральной его части, была устроены открытая галерея, с которой открывался прекрасный вид на Яузу и окрестности. Фасады выглядели очень нарядно – белокаменные наличники окон, пилястры, декоративные консоли, гирлянды; по всему фасаду шел резной белокаменный поясок с растительным орнаментом; некоторые окна были сделаны витражными. Перед дворцом расстилался парк с прудами. Помещения дворца поражали роскошью – стены главного зала были обиты красным сукном и украшены картинами и зеркалами, а также голландскими печами с расписными изразцами. Стены других комнат были обиты кожей и парчой, обставлены европейской мебелью, украшены предметами китайской работы и картинами, привезенными из Европы.