Первоначально это была усадьба И.О. Цурикова. После 1812 года был выстроен главный дом предположительно архитектором М.Ф. Казаковым для Нарышкиных и в нем жил декабрист М.М. Нарышкин. В этом доме собирались члены тайного общества декабристов - К. Ф. Рылеев, И. И. Пущин, В январе 1826 в нем были арестованы Михаил Нарышкин и Иван Пущин. Позднее здание было украшено барельефом: кандалы, переплетенные лавровыми ветками.