Удивительно красивое здание в скандинавском стиле было построено в Леонтьевском переулке на углу со Шведским тупиком в 1893 году архитектором Д.Н. Чичаговым. Название этого переулка происходит от Шведского подворья, которое располагалось здесь (с перерывами на время войн) в 1618–1874 годах. В 1874 году земля подворья была обменена на землю, принадлежавшую Российскому государству в Стокгольме, где находились «магазины, дарованные Королевским правительством, на основании древних трактатов, под склады товаров, приезжавших в Швецию русских торговцев».
</span>
<span>
</span>
<span>В 1892 году купец Александр Сергеевич Капцов пожертвовал городу 190 тыс. рублей на устройство городского начального училища имени его отца Сергея Александровича Капцова на 200 мальчиков. На эти деньги городом было построено здание гимназии. Архитектор выбрал для него стиль скандинавской архитектуры времени ее расцвета, так называемого «стиля Христина IV», ярко воплотившегося в архитектуре датского замка Розенборг и в особенности торговой биржи в Копенгагене с характерной раскраской в два цвета — кирпича и белого камня — и с несколькими высокими фигурными фронтонами.