Церковь Иоанна Богослова была возведена в 1173 году по указу князя Романа Ростиславича. Согласно сохранившимся летописям, церковь была богато украшена золотом и финифтью. В первозданном своём виде она просуществовала до 1611 года, когда Смоленск после длительной осады был захвачен польским войском под предводительством короля Сигизмунда III. В годы, когда Смоленск находился в составе Речи Посполитой, церковь была превращена в костёл. После возвращения Смоленска в состав Московского государства, церковь вновь была передана православным.
В XVIII веке церковь была частично перестроена. В 1812 году она пострадала от французских войск во время Отечественной войны.
В годы советской власти церковь действовала до 1933 года, после чего была закрыта и передана под музей и библиотеку. В годы Великой Отечественной войны церковь сильно пострадала, были уничтожены все её пристройки.
В 1970-е годы была проведена реставрация церкви по проектам архитекторов Подъяпольского и Каменевой. С фасадов здания была удалена поздняя штукатурка, а в нижних частях — восстановлены полуколонны и профилировки проёмов.
В 1993 году церковь была передана смоленской епархии Русской Православной Церкви.