Палаты были построены в XVII веке псковским купцом Сергеем Поганкиным, занимавшим высокие должности и обладавшим значительным богатством. После смерти последнего представителя рода — Григория Юрьевича Поганкина — в 1711 году, здание и всё имущество по его завещанию были переданы церкви.
В 1747 году палаты были выкуплены казной. В дальнейшем в здании размещались провиантский, а затем пороховой склады. В 1900 году его передали Псковскому археологическому обществу, и уже спустя два года, после первой реставрации, в палатах открылся Исторический музей.