Старший инженер данных отдела разработки аналитических систем
Обязанности:
1. Разработка и поддержка data pipeline
– Создание и оптимизация ETL/ELT-процессов для интеграции данных из разнородных источников (внешние данные о рисках, файловые хранилища и др.) в Arenadata DB и ClickHouse .
– Построение масштабируемых потоков данных для обработки больших объемов информации, включая batch и stream processing.
– Обеспечение надежности, производительности и отказоустойчивости pipeline (например, через Apache Airflow, Kafka Streams или собственные механизмы Arenadata).
2. Управление данными и их качеством
– Разработка метрик и автоматизированных проверок качества данных (например, выявление дубликатов, аномалий, несогласованных форматов).
– Внедрение процедур очистки, нормализации и преобразования данных на этапах ETL.
– Участие в создании стандартов хранения данных (Data Governance), включая классификацию, метаданные, политики доступа и сроки хранения.
3. Архитектурное проектирование
– Проектирование и поддержка архитектуры хранилищ данных (Data Warehouse / Data Lake) на базе Arenadata DB и Arenadata QM (ClickHouse) .
– Оптимизация структур данных в ClickHouse (выбор движков таблиц, партиционирование, TTL, репликация).
– Выбор и реализация процедур инкрементальной загрузки данных из источников.
– Построение звездных/снежинковых схем для аналитических отчетов и дашбордов.
– Интеграция Arenadata DB с ClickHouse для обеспечения гибкости анализа (например, через внешние таблицы или промежуточные слои).
4. Поддержка аналитических процессов
– Создание витрин данных (Data Marts) для аналитиков, актуариев и менеджеров.
– Оптимизация SQL-запросов в ClickHouse для работы с высоконагруженными сценариями (например, расчет резервов убытков, моделирование рисков).
– Автоматизация регулярной отчетности в части подготовки данных (ежедневные/ежемесячные дашборды для руководства).
5. Соблюдение регуляторных требований
– Подготовка данных для регуляторной отчетности (например, Solvency II, локальные нормы) с использованием Arenadata DB и ClickHouse.
– Обеспечение конфиденциальности и безопасности данных (например, шифрование, аудит доступа к персональным данным).
– Документирование процессов хранения и обработки данных в соответствии с требованиями регуляторов.
6. Командная работа и развитие
– Наставничество для junior-инженеров данных (code review, обучение, передача экспертизы).
– Участие в выборе технологических решений и инструментов для развития аналитической платформы.
– Взаимодействие с ИТ-командами и бизнес-подразделениями для выявления потребностей и приоритетов.
Требования:
– Высшее образование (плюсом будет направление: информационные технологии).
– Умение читать техническую литературу/документацию на английском языке.
– Опыт работы: 4+ лет в роли инженера данных, 2+ года с Arenadata DB (или иным хранилищем на базе Greenplum) и ClickHouse.
Технические навыки:
– Углубленное знание SQL, Python/Scala для обработки данных.
– Опыт работы с ETL-инструментами (Apache Airflow, Kafka).
– Навыки настройки и оптимизации Arenadata DB (Greenplum).
– Знание архитектур хранилищ данных и best practices моделирования данных.
– Понимание предметной области:
– Знание особенностей перестраховочного бизнеса (виды договоров, оценка рисков, убытки, премии).
– Опыт работы с финансовыми и актуарными метриками.
– Предпочтителен опыт работы в финансовых организациях и IT компаниях.
–
Готовность брать на себя ответственность за результат, проактивность и умение задавать правильные вопросы, здоровый перфекционизм и скептицизм: любовь к структурированию, систематизации.
– Системное логическое мышление, умение описывать алгоритмы действий в процессах, лидерские качества, умение распределять задачи в команде, отличные коммуникативные навыки для взаимодействия с бизнесом и ИТ, аналитическое мышление и внимание к деталям.
Условия:
– Прием на работу по трудовому договору.
– Ежеквартальная премия и премия по итогам года.
– ДМС на работника и членов семьи, страхование от критических заболеваний и несчастных случаев.
– Корпоративная мобильная связь.
– График 5/2 (гибрид).
– Офис в центре Москвы (м. Маяковская).