Церковь построена по указанию Давыда Ростиславича, князя Смоленского во время его правления. Входила в архитектурный комплекс загородного княжеского двора. Летопись сообщает о её богатом внутреннем убранстве: «всим приходящим к ней дивитися изрядной красоте ея, иконы златом и сребром, и жемчугом, и камением драгим украшены, и всею благодатью исполнена». До закрытия в первой половине XX века в церкви находилась белокаменная гробница князя Давида. Некоторое время при церкви существовал монастырь. В 1611 году православный приход был обращён в католический. Для православного богослужения восстановлен в первом десятилетии XVIII века при митрополите Сильвестре (Крайском).
В 1733 году к церкви был пристроен теплый придел. В конце XIX века внутри имелось четыре престола: главный — в честь Архангела Михаила; придельные: во имя Алексия — человека божия, благоверного князя Александра Невского (переименованный в память императора Александра I из придела преподобного Александра Свирского) и мучеников Бориса и Глеба. Ежегодно 24 июля к месту убиения князя Глеба (на Смядынь) совершался крестный ход.
Во второй половине XVIII века старостой храма был назначен купец Василий Григорьевич Хлебников. При Хлебникове, по благословению епископа Парфения, в 1775—1785 годах были построены каменные: колокольня, ограда и, в юго-западном углу церковного участка, одноэтажный дом.