Кремлёвский сквер — это благоустроенная зеленая зона, расположенная вдоль реки Трубеж. Вход в сквер со стороны Соборной площади украшен белоснежной колоннадой, известной как пропилеи или «триумфальные ворота». Центральная аллея сквера ведет к Соборной колокольне. В сквере установлены памятники героям гражданской войны и Отечественной войны 1812 года, а также памятники Сергею Есенину и Сергию Радонежскому. В 2020-х годах в сквере была проведена реконструкция, в ходе которой появились игровые площадки, новое освещение и свето-динамические фонтаны. Декоративные элементы и стилизованные скамейки напоминают о том, что город славится производством леденцов.