Data Engineer (Big Data) Scala
Платформа ОФД - продуктовая IT-компания, крупнейший в России оператор фискальных данных. Мы создаем полезные и удобные сервисы для предпринимателей, анализируем рынок российского ритейла на данных из магазинных чеков.
Приглашаем в команду Дата инженера с опытом от 1 года на scala
Что у нас есть:
– Много данных: каждый 3-й чек, пробиваемый в России, находится на наших серверах. Мы принимаем до 60 млн чеков в день, имеем 5 млрд уникальных названий товаров в базе.
– Развитая инфраструктура: есть несколько кластеров Hadoop, у DS есть несколько мощных машин, GPU делают бр-бр
– Команда DE и сильная экспертиза
– 80% кода мы пишем на Scala
– Оформление только по ТК РФ, белая зп
– ДМС с госпитализацией, скорой и стоматологией
– Удобная кухня, релакс-зона с тренажером, массажным креслом, приставкой и караоке
– Пицца-пати и корпоративные праздники за счет компании
Наш стек:
Hadoop, Spark, SCALA, Python, Java, PostgreSQL, ClickHouse, Zeppelin/IntelliJ, AirFlow, ElasticSearch, Apache Superset
GitLab, k8s, Docker, Jira, Confluence
Чем предстоит заниматься:
– Разрабатывать ETL-процессы с использованием библиотеки Apache Spark на Scala
– Анализировать, проектировать и создавать витрины данных в соответствии с требованиями конкретного проекта
– Развивать инфраструктуру для обработки больших данных и кодовой базы Scala
– Работать с DS для внедрения математических алгоритмов и ML-моделей в промышленные процессы
Откликайся, если ты:
– От 1 года решаешь задачи в области сбора, хранения и анализа данных
– Пишешь код на Scala
– Отлично знаешь SQL
– Применяешь в работе инструменты BigData: Airflow, Hadoop, Spark, Hive, Zeppelin
– Будет плюсом опыт работы с Docker и k8s