Особняк известен тем, что в 2012 г. в доме был найден один из самых крупных кладов за всю историю России. Первым владельцем здания был прадед Александра Пушкина, "арап Петра Великого" Абрам Ганнибал. В 1855 г. князь Пётр Трубецкой приобретает особняк. При нем арх. Гаральд Боссе выполняет частичную перестройку здания. В 1874 г. владельцем особняка становится Василий Нарышкин, дом снова реконструируется по проекту Роберта Гёдике.