Самое старое каменное здание в усадьбе. При князе Волконском в центральной части дома располагались мастерские по изготовлению полотна, ковров, обработке кожи. При Толстом здесь жила прислуга, находились прачечная и «черная кухня». В восточном крыле Дома Волконского размещалась художественная мастерская дочери Толстого Татьяны Львовны.
В настоящее время в здании располагается администрация и научная библиотека музея. В выставочном зале Дома Волконского работают временные выставки.