Здание Пассажа построено в 1846-1848 гг. архитектором Р.А. Желязевичем для графа Я.И. Эссен-Стенбок-Фермора. С 1854 по 1897 г. Пассажем владела графиня Н.А. Стенбок-Фермор. Здание перестроено в 1900-1902 гг. архитектором С.С. Козловым для княгини Н.А. Барятинской.
Наряду с универсальным магазином здесь в разное время размещались банк "Лионский кредит", выставочный и концертный залы, гостиница, рестораны и кафе, кинематограф "Солей".
С 1860 г. в концертном зале Пассажа проходили вечера Литературного фонда с участием И.А. Гончарова, Ф.М. Достоевского, А.В. Дружинина, А.Н. Майкова, Н.А. Некрасова, А.Н. Островского, А.Ф. Писемского, Я.П. Полонского, И.С. Тургенева, Т.Г. Шевченко.
В первой четверти XX в. работали театр "Фарс" В.А. Казанского (1901-1902), театр В.Ф. Комиссаржевской (1904-1906), театр С.Ф. Сабурова (1912-1925).
В 1900-х гг. в подвальном помещении Пассажа находились артистические кабаре "Салон юмористов", "Уголок", "Би-Ба-Бо".
В Пассаже выступали композиторы С. Монюшко, Ф. Легар, А.К. Глазунов, артисты Е.М. Грановская, А.Я. Ваганова, Ф.Н. Шаляпин. В 1944 г. в театральный зал Пассажа переведён "Блокадный" театр, который с 1959 г. носит имя В.Ф. Комиссаржевской. В 1992 г. основано ЗАО Торговый дом "Пассаж".