Церковь Георгия Победоносца (или Верхне-Георгиевская церковь) была построена в высокой Заднепровской части города в 1784 году. Сначала она была деревянной. Каменный храм в честь великомученика Георгия Победоносца с приделами во имя Святого Духа и Всех Святых возведён в 1810 году на средства купца Стефана Сафроненкова.
Во время войны с Наполеоном храм был повреждён и разграблен французами. После ремонтных работ Богослужение возобновлено в 1820 году. Во второй половине XIX века храм стал кладбищенским и приписанным к Нижне-Никольскому приходу. В 1896 году ему придали статус приходского.
С начала XIX века рядом с храмом размещается военный госпиталь, действующий до сих пор. В советский период в Верхне-Георгиевском храме размещался склад. В 1993 году руины храма возвращены Смоленской епархии. В 1994–1998 годах велись реставрационные работы на фасадах и в интерьере храма.
Верхне-Георгиевская церковь — один из памятников архитектуры классицизма. Одноэтажная, двухсветная, одноглавая, трехчастная. Полукруглая апсида и небольшая трапезная невысокие, колокольня состоит из трех четвериков. Украшают фасады треугольные фронтончики над высокими окнами, круглые окна в тимпанах фронтонов четверика, трехчетвертные колонны, фланкирующие порталы на южном и северном фасадах. Внутри храм перекрыт лотковым сводом на тромпах.