В первые месяцы после взятия Орешка в 1702 году строительными работами в крепости лично руководил Пётр I. Однако вскоре он отбыл в Москву, оставив гарнизон, для нужд которого в 1714 году началось возведение каменной казармы с рвом по периметру. Через ров были перекинуты мостки, рядом с которыми постоянно дежурили часовые.
Но здание прослужило казармой недолго. Уже во второй половине XVIII века его стали постепенно переоборудовать в тюрьму. Исчезла торжественная отделка, а к рубежу XIX–XX веков был надстроен третий этаж. Новая тюрьма получила название «Зверинец» — камеры здесь были отделены от коридора не стенами, а металлическими решётками от пола до потолка. В восточной части располагались кузница и слесарные мастерские, а на западе — изолятор для психически больных заключённых.
После Октябрьской революции объект был признан памятником истории, и здесь стали проводить экскурсии. В бывшей тюрьме разместилась экспозиция, посвящённая борьбе революционеров и народников.
В годы Великой Отечественной войны здание серьёзно пострадало. После окончания боёв оно не было восстановлено, и сегодня его можно увидеть в руинированном состоянии, с сохранившимися отдельными фрагментами прежней структуры.