Это здание, изначально двухэтажное, было выстроено в 1764-72 годах архитектором М.Ф.Казаковым. Он сохранил при строительстве особняка фрагменты старинных палат, которыми владели еще в начале XVIII века кабинет-секретарь Петра I А. В. Макаров и князь Д.А. Кольцов-Мосальский. В 1771 году императрица Екатерина II за подавление чумного бунта пожаловала П.Д. Еропкину вотчины и 4000 крепостных душ, но он отказался, за что стал пользоваться еще большим уважением у москвичей. П.Д. Еропкин не принял также приглашения переехать в дом на Тверской, предназначенный для генерал-губернаторов, и остался жить в своем особняке.
Помещения этого дома отличались необыкновенной роскошью, здесь была даже своя домовая церковь. Еропкины славились гостеприимством: всякий гость был радушно принят и накормлен. В этом особняке происходили блестящие балы, где нередко бывал в детстве А.С. Пушкин. После смерти своих хозяев дом перешел во владение племянников Еропкиных - Новосильцовых, а затем к князьям Гагариным.