В 1770-е гг. здесь уже был построен каменный дом, обращенный к заливу. В 1780-х гг. по указу Екатерины II сюда были переведены кожевенные заводы. Производством заведовала А.Е. Фишер, для которой в 1787 г. дом был перестроен.
В 1844 г. владельцем участка стал купец Н.М. Брусницын, а в 1847 г. им был основан кожевенный завод Брусницыных. В 1868 г. участок с особняком перешёл к Е.И. Брусницыной.
После 1917 г. в особняке разместили администрацию завода, который стал называться Кожевенным заводом им. А.Н. Радищева.
В 1924-1925 гг. экзотические растения из оранжереи Брусницынх были переданы в Ботанический Сад.