За Калужскими воротами Земляного города в XVIII веке располагалась хотя и редкая, но довольно пестрая застройка. На месте нынешнего МИСиСа и Горного университета до 1771 г. находилось татарское кладбище, позже закрытое и перенесенное в другое место. Как территорию бывшего кладбища, так и соседнее с ним поместье Волынских приобрел граф А.Г. Орлов-Чесменский. Довольно скоро новая усадьба была перепродана графом своему дальнему родственнику – Д.Н. Лопухину. В самом начале XIX века по заказу нового владельца архитектором А.Н. Бакаревым был выстроен господский дом в манере, свойственной М.Ф.Казакову. Это неудивительно, поскольку Матвей Федорович был учителем Бакарева. Кончина Лопухина в 1809 году повлекла за собой смену собственников. Усадьба сначала отошла к А.А. Орловой-Чесменской и, почти сразу, была продана семейству Полторацких. Трагические события 1812 года обошли стороной эти владения. Ни московский пожар, ни мародеры отступающей по Калужской дороге «Великой армии» Наполеона не причинили вреда постройкам. Когда москвичи стали возвращаться на пепелище родного города, то первый московский бал после изгнания французов состоялся именно в усадьбе Полторацких. Еще более грандиозный праздничный бал был устроен в 1814 году в ознаменование взятия Парижа.