Дом книги построен в 1950-е годы архитектором И.А. Ивановым, который занимался восстановлением Орла в послевоенные годы.
На картуше указаны годы строительства здания (1950–1954) и лозунг «Книгу в массы». На нижнем этаже находится книжный магазин, открытый 6 ноября 1956 года, и банк. Верхние этажи здания используются под различные учреждения. На Доме книги установлена мемориальная доска архитектору А.И. Иванову.
Фасад здания украшают горельефы. Они выполнены московским и орловским скульпторами: Георгием Лавровым и Михаилом Глушенко.
Все образы — узнаваемые. Почётные места занимают Маркс и Энгельс. Вдоль улицы Московской на прохожих «смотрят» великие литераторы. Здесь — Горький, Чернышевский, Толстой, Тургенев, Гоголь, Пушкин, Маяковский. Крыло вдоль улицы Степана Разина состоит из деятелей науки и искусства: Ломоносов, Тимирязев, Павлов, Мичурин, Менделеев, родоначальник русской классической музыки Глинка, Чайковский.