Территория начала застраиваться в середине XVIII в. малоэтажными деревянными зданиями. В конце столетия дом принадлежал семье доктора Гразновского, затем купцу И. Лесникову.
Следующими владельцами стали Крашенников и его наследники. В середине XIX в. вместо деревянного особняка было возведено каменное здание. В 1870-х гг. дом принадлежал жене полковника Бентковской, его арендовало Императорское женское Патриотическое общество для одной из своих благотоворительных школ. С 1880-х гг. участок перешел к Римско-католической духовной академии.