В 1755 г. на этом месте по проекту В. Растрелли был возведен временный деревянный Зимний дворец императрицы Елизаветы Петровны.
После строительства каменного Зимнего дворца эта постройка была разобрана. В 1771 г. Елизавета Петровна лично нарисовала чертеж здания для пустующего участка. В 1786 г. планировалось строительство здания Кабинета Её Императорского Величества по проекту арх. Н.А. Львова. В 1791 г.
Павел I предоставил этот участок для строительства театра. Проекты не были реализованы. В 1804-1806 гг. здесь был возведен дом для Чаплиных.