В этом доме в начале 20-х годов XIX века собирались члены тайного общества декабристов. Здесь жил декабрист М.М. Нарышкин. В этом доме бывали К.Ф. Рылеев, И.И. Пущин, позднее И.С. Тургенев, И.Е. Репин, А.Н. Островский, А.Ф. Писемский, А.А. Фет. В доме работало правление Союза художников СССР.