В июле 1880 года Прозоров завещал свой особняк женскому епархиальному училищу. В 1918 году особняк муниципализирован, флигели отданы жильцам, а в главном доме должна была разместиться школа, но этого не произошло: в 1919 дом Прозорова отдали 10-й пехотной школе, позднее - фабрике музыкальных инструментов. Сейчас здание занимает университет.