Здание Дворца пионеров и школьников построено на месте усадьбы Александринского института благородных девиц и открылось в 1961 году.
4 июля 1984 года во Дворце пионеров случился пожар, в результате которого обрушилась крыша над зрительным залом. В огне погибли двое пожарных — младший лейтенант Александр Комоско, и сержант Виктор Лапшин. Они были посмертно награждены медалями «За отвагу на пожаре».
Здание построено в неоклассическом стиле по типовому проекту. Подобные проекты были ранее воплощены в Брянске и Рязани. Особенность дворца — Комната сказок, стены которой были украшены иллюстрациями к сказкам Пушкина Роспись выполнили всемирно признанные мастера Палеха Роман Белоусов и Борис Ермолаев. При реконструкции Дворца к 450-летию Орла роспись была сильно повреждена строителями.
Ещё одна жемчужина Дворца — витраж, выполненный руками детей и педагогов. Сначала он был выполнен из полимерных пленок в огромном арочном окне парадной лестницы. Позже рисунок был перенесён на стекло витражными красками. При реконструкции Дворца витраж был воспроизведен в фойе актового зала.