Здание казарменного комплекса первой половины XVIII века изначально было архиерейским подворьем, к которому примыкали жилые дома, принадлежавшие нескольким знатным горожанам. Однако уже в 1774 г. здание передают в ведение А.Ф. Бестужева - отца будущих декабристов и заведующего бронзовой фабрикой.
Непосредственно казарменным комплексом здание становится на рубеже XVIII и XIX веков. Принадлежало поочерёдно Кегсгольмскому и Перновскому мушкетёрскому полкам, пока в 1808 г. его не занял Финляндский лейб-гвардии батальон. Изначально созданный как нерегулярное милицейское формирование, батальон отличился в боях с французами в 1807 г. и стал гвардейским, а позднее был развёрнут в полк.
Здания вдоль 19-линии В.О. были отведены под солдатские казармы, здания вдоль набережной - под офицерские квартиры. Позднее других - во второй половине XIX в. - в собственность полка перешёл дом на углу 20-й линии В.О. и Набережной Лейтенанта Шмидта, ранее принадлежавший Горному департаменту. Нынешний же архитектурный вид казармы приобрели только в 1950-х гг., когда со стороны 20-й линии В.О. к ним было пристроено трёхэтажное здание в стиле неоклассицизма.