Здание построено для видного смоленского купца Г.П. Павлова, владевшего крупным магазином мод. Часть торговых помещений в этом доме сдавалась в аренду сторонним торговым предприятиям. В 1903 году здание капитально перестроили (появился третий этаж вместе с венчающим четверичком). Это характерный для эклектики 2-й пол. 19 века образец крупной городской постройки с насыщенным фасадным убранством, стилизованным под барокко. В первый же год советской власти здесь был открыт книжный магазин. В читальне при нем выступали со своими стихами А.Т. Твардовский и М.В. Исаковский. В 1974 году здесь находился библиотечный коллектор, Облкниготорг, центральный книжный магазин и магазин-распространитель, ассортиментный кабинет и магазин «Книга — почтой». Книжный магазин в Доме книге находится и сейчас. На Доме установлена мемориальная доска в память о руководивших Смоленской писательской организацией М. В. Исаковском, А. Т. Твардовском и Н. И. Рыленкове.