Замок был основан в 1337 году Тевтонским орденом как оборонительное сооружение. Он служил резиденцией комтура и был частью системы укреплений ордена.
В течение веков замок неоднократно перестраивался и использовался в различных целях — от военной крепости до административного здания. После Второй мировой войны, когда территория Восточной Пруссии отошла к Советскому Союзу, замок оказался в запустении. Однако в последние годы ведутся работы по его восстановлению и сохранению.
Сегодня замок Инстербург — это культурно-исторический центр, где проходят выставки, экскурсии, фестивали и другие мероприятия. Он также является памятником архитектуры и истории.