Во второй половине XVIII в. владение принадлежало племяннику сподвижника Петра I Саввы Рагузинского-Владиславича графу Ефиму Ивановичу Владиславичу. Еще раньше, по преданию, здесь находилось митрополичье подворье. Документов, подтверждающих это, пока не обнаружено, но уже в XVII в. на участке были возведены каменные палаты. Они частично сохранились в основе ныне существующего здания: в подвальной части видны старинные своды. Главный дом, фасадом выходивший на утраченную Петроверигскую церковь, был построен на рубеже XVII–XVIII вв.
В 1803 г. владение приобрел директор Московского университета Иван Петрович Тургенев. Здесь он прожил до своей смерти в 1807 г. В эти годы усадьба превращается в один из литературных салонов Москвы. В гостях у Тургенева часто бывали Н.М. Карамзин, М.М. Херасков, В.А. Жуковский, с которым был дружен сын Ивана Петровича Андрей.