Задачи:
– Оркестрация контейнеров: Docker, Docker Compose, Kubernetes.
– Настройка и поддержка CI/CD (предпочтительно GitLab CI/CD) для деплоя ETL/ELT-процессов и сервисов DWH.
– Поддержка и оптимизация DWH: PostgreSQL, ClickHouse.
– Настройка и сопровождение ETL/ELT-пайплайнов:
– Apache Airflow (оркестрация)
– Apache NiFi (потоковая передача и трансформация данных)
– Обеспечение отказоустойчивости и производительности DWH (партиционирование, репликация, настройка параметров СУБД).
– Настройка CDC (Change Data Capture) с использованием Apache Kafka + Kafka Connect / Debezium.
– Мониторинг загрузок и состояния DWH-компонентов.
– Автоматизация рутинных задач через Bash и регулярные выражения (логи, разбор данных).
– Интеграция Keycloak для управления доступом к компонентам платформы (Superset, Airflow, Kafka UI и т.д.).
– Развёртывание и поддержка Apache Superset (визуализация данных).
– Опыт администрирования DWH на PostgreSQL (оптимизация запросов, настройка для аналитических нагрузок, партиционирование, репликация, бэкапы).
– Уверенное знание и практический опыт с Apache Airflow (DAG’и, сенсоры, операторы, подключение к БД, мониторинг).
– Опыт работы с Apache NiFi (проектирование потоков, контроллеры сервисов, процессоры для БД и Kafka).
– Понимание Apache Kafka (топики, продюсеры/консьюмеры, Kafka Connect) — для CDC и потоковой передачи данных.
– Навыки работы с ClickHouse (создание таблиц, распределённые запросы, базовое администрирование).
– Опыт с Docker и Kubernetes (развёртывание вышеуказанных сервисов, Helm приветствуется).
Наши ожидания:
– Опыт администрирования DWH на PostgreSQL (оптимизация запросов, настройка для аналитических нагрузок, партиционирование, репликация, бэкапы).
– Уверенное знание и практический опыт с Apache Airflow (DAG’и, сенсоры, операторы, подключение к БД, мониторинг).
– Опыт работы с Apache NiFi (проектирование потоков, контроллеры сервисов, процессоры для БД и Kafka).
– Понимание Apache Kafka (топики, продюсеры/консьюмеры, Kafka Connect) — для CDC и потоковой передачи данных.
– Навыки работы с ClickHouse (создание таблиц, распределённые запросы, базовое администрирование).
– Опыт с Docker и Kubernetes (развёртывание вышеуказанных сервисов, Helm приветствуется).
– GitLab CI/CD (или аналоги: Jenkins, GitHub Actions) — умение собрать пайплайн для тестирования и деплоя DWH-кода.
– Bash — написание скриптов для автоматизации (очистка логов, перезапуск сервисов, бэкапы).
– Регулярные выражения (regex) — парсинг логов, подготовка данных.Будет плюсом, но не обязательно:
– Java (понимание JVM-приложений, т.к. Airflow/NiFi/Kafka написаны на Java — для диагностики проблем).
– Keycloak (настройка OIDC для Superset/Airflow).
– Superset (администрирование, подключение к ClickHouse/PostgreSQL).
– Опыт с Kafka Connect для CDC.
Мы предлагаем:
– Оформление по ТК РФ (наличие аккредитации компании-работодателя в сфере ИТ)
– Забота о здоровье: расширенный пакет ДМС, включая стоматологию
– Программы корпоративных привилегий
PrimeZone: скидки на товары и услуги, специальные предложения от компаний- партнёров
– Корпоративные спорт: футбольный и волейбольный клуб, беговые марафоны, скидки в World Class
– Комфортный офис в шаговой доступности от м. Парк Культуры
– Гибридный график работы с 9.00 до 18.00