Первоначально здание предназначалось для торговых рядов и частично под жилье. В 1809-1811 г. арх. Л. Руска реконструировал здание для Кабинета Его Императорского Величества. В это время были пристроены два флигеля с западной стороны, и установлена ограда между Кабинетом и Аничковым дворцом.
В 1885-1886 гг. по проекту арх. Н.А. Шильдкнехта была заложена аркада первого этажа. В 1936-1937 гг. для Дворца пионеров А.И. Гегелло и Д.Л. Кричевский пристроили симметричные корпуса, которые подчеркнули перспективу от набережной на центральную часть двора.