Точная дата постройки дома неизвестна, но первые упоминания о нём датированы первой половиной XVIII века, когда он принадлежал семье дворян Ржевских. В конце века дом переходит в ведение Морского кадетского корпуса. В 1850-х гг. тут жили астроном Д.М. Перевощиков и общественный деятель Н.С. Таганцев. В XIX и XX в. неоднократно ремонтировался и реконструировался, утратив свой первоначальный облик.