С утратой стратегического значения после строительства Кронштадта крепость Орешек постепенно превратилась в место заключения. Первые известные узники — супруга Петра I Евдокия Лопухина и его сестра Мария Алексеевна. Позже сюда был доставлен Иван VI — свергнутый император, так и не получивший короны. С течением времени число заключённых возросло, и на острове начали возводить специальные тюремные корпуса. Первым из них стал Секретный дом.
Секретный дом быстро приобрёл зловещую славу. Каменные стены, тесные камеры, крошечное окошко с видом лишь на небо над Ладожским озером — всё это создавало атмосферу глухого безысходного одиночества. Здесь содержались участники самых разных освободительных движений: декабристы, среди них Бестужевы, Иван Пущин, Вильгельм Кюхельбекер; народовольцы и эсеры; участники Польского восстания. Позднее сюда попала и Зинаида Коноплянникова, приговорённая за политическое убийство, и Александр Ульянов — брат Владимира Ленина.