Этот особняк — один из примечательных памятников Санкт-Петербурга, свидетелей смены эпох и блестящих имён города на Неве. С XVIII века он переходил от одних владельцев к другим, связан был как с придворными Петра I, так и с выдающимися аристократами XIX–XX веков.
В первой половине XIX века дом стал резиденцией графа Александра Ивановича Чернышёва, влиятельного военного министра Российской империи, исполнявшего эту должность с 1827-х до 1850-х годов. Для него здание перестроили по проекту архитектора Иоганна Шарлеманя. В этом доме бывали крупнейшие военные и государственные деятели, а после смерти владельцев здесь проживали представители фамилии Бартинских и будущая графиня Шувалова.
В начале XX века особняк оставался в числе знаменитых аристократических резиденций столицы, неоднократно перестраивался известными архитекторами, пережил революционные события и сохранил свою историческую атмосферу до наших дней.