Этот дом связан с именем Фёдора Михайловича Достоевского, который жил здесь в 1842–1845 годах. В это время он общался с бедными пациентами соседа-врача, что стало важным жизненным опытом и вдохновением для его первого романа — «Бедные люди».
В те же годы в доме жил и писатель Дмитрий Васильевич Григорович — друг и литературный соратник Достоевского. Их общение сыграло важную роль в становлении обоих авторов и развитии русской литературы 1840-х годов.
В конце XIX века владельцами дома были представители купеческой семьи Авдеевых, в том числе Александра Александровна Авдеева, содержавшая магазин типографских красок. С 1901 по 1908 год дом принадлежал Сергею Александровичу Смурову — купцу 2-й гильдии и активному участнику общественной жизни Петербурга. В 1913 году здание перешло в собственность акционерного общества «Северный ломбард», что отражает смену эпох и развитие городской экономики.