Первоначально здание было возведено купцом Андреем Кружевниковым, а в 1814 году его приобрела Екатерина Федоровна Муравьева. Этот дом стал культурным центром своего времени, где собирались выдающиеся деятели литературы и искусства. Здесь проживал известный поэт Константин Батюшков, а также бывали художник Орест Кипренский и гравер Уткин, близкий семье Муравьевых.
Несколько лет (1816–1823) в доме жил великий русский историк и писатель Николай Михайлович Карамзин, здесь он работал над своей "Историей государства Российского". Благодаря гостеприимству Екатерины Федоровны Муравьевой, дом стал местом вдохновения и творческой работы.
Однако после декабрьского восстания жизнь семьи Муравьёвых была разрушена. Под грузом этих трагедий Екатерина Фёдоровна едва не лишилась рассудка. В стремлении быть ближе к своим сыновьям, находившимся в ссылке, она переехала в Москву, продав дом на Фонтанке.