В середине XVIII века на месте будущего Императорского Александровского лицея находилась дача английского купца и дипломата Якоба Вольфа. После его смерти участок перешёл к барону Штейну, который попытался организовать здесь текстильную фабрику, но предприятие оказалось неудачным, и вскоре имение было передано в казну.
В 1768 году на этом месте открылся «оспенный дом» — учреждение для прививания от оспы. Он располагался в деревянном летнем доме, купленном у наследников Вольфа. Со временем здание обветшало и в 1831 году было снесено.
В том же 1831 году началось строительство нового большого трёхэтажного здания в стиле казённого ампира по проекту архитектора Людвига Ивановича Шарлеманя. К 1834 году строительство было завершено, и в здание переехали воспитанники Александринского сиротского дома, названного в честь супруги императора Николая I — Александры Фёдоровны. В 1841–1842 годах за зданием были построены баня и прачечная.
В 1842 году сиротский дом был переведён на набережную реки Мойки, а здание на Каменноостровском проспекте передано Императорскому Александровскому лицею. В 1843 году лицей переехал сюда из Царского Села.
Императорский Александровский лицей стал одним из престижнейших учебных заведений Российской империи. Среди его известных выпускников — писатель и сатирик Михаил Евграфович Салтыков-Щедрин, публицист Алексей Николаевич Аксаков, литературовед Владимир Петрович Гаевский.