Жилой дом Пеговых — историческое здание, возведённое в 1863 году и перестроенное в 1877 году. Объект обладает признаками памятника архитектуры и считается исторически ценным градоформирующим элементом. В XIX веке участок принадлежал купцу Якову Пегову, который совместно с кулинаром Люсьеном Оливье открыл здесь знаменитый трактир-ресторан «Эрмитаж». В здании также размещались гостиница и бани.
Проектированием занимался архитектор Дмитрий Чичагов, а в начале XX века перестройку осуществлял Иван Бони. В разные годы дом был местом встреч московской интеллигенции, здесь бывали такие известные личности, как Николай Римский-Корсаков, Пётр Чайковский, Антон Чехов, Максим Горький и Фёдор Шаляпин. В советское время здание использовалось для различных учреждений.