Здание было заложено в 1727 году как дворец для императора Петра II по проекту архитектора Доменико Трезини. В его состав вошёл дом дворецкого Меншикова — Фёдора Соловьёва, построенный в 1714 году.
С 1730-х годов здание использовалось Первым кадетским корпусом. В разные периоды здесь находились Канцелярия от строений, церковь, банк и Английский кофейный дом.
С конца XIX века здание стало использоваться в образовательных целях. В советское время здесь разместились филологический факультет ЛГУ, а позже — и восточный факультет.
Во время Великой Отечественной войны университет был эвакуирован, а в 1944 году вернулся в Ленинград.
В 2002 году во дворе здания открылся Парк современной скульптуры — музей под открытым небом, созданный по инициативе декана филологического факультета Сергея Богданова.