В конце 1730-х годов на этом месте стояли одноэтажные деревянные лавки с галереями, где торговали серебром и драгоценностями. В 1783 году они сгорели. На их месте купцы по проекту архитектора Д. Кваренги в 1784–1786 годах построили каменные Серебряные ряды. Кваренги использовал здесь двухъярусную аркаду, напоминающую соседний Гостиный двор: нижний этаж с открытыми арками и рустовкой, два верхних — с ложными арками и полуколоннами.
В советское время в нижнем этаже работал магазин «Изопродукция», а с 1986 года — Центральный салон Художественного фонда. С конца 1980-х до 2005 года здесь размещался Санкт-Петербургский фонд культуры, который сыграл важную роль в объединении молодежных движений и культурных деятелей города. В 1999 году художественную галерею сменил ювелирный салон «Ананов», для которого аркаду застеклили.