О команде
Мы – команда АО НПК «БАРЛ»: российской инженерной компании в сфере космических технологий, ДЗЗ и геоинформационных решений. В этом направлении мы разрабатываем прикладное программное решение, которое объединяет данные из разнородных источников (ДЗЗ, телеметрию, справочные и открытые данные) в единое хранилище, выполняет автоматическую обработку и анализ с применением методов машинного обучения, поддерживает релевантную выдачу результатов пользователю через веб-интерфейс и отчётные материалы.В команду нужен инженер геоданных с уклоном в разработку ETL/ELT.
Чем предстоит заниматься (обязанности)
Задача роли – организовать и реализовать полный цикл подготовки данных: изучение источников геоданных, предложения к структурам их хранения, разработка и настройка автоматического сбора, приведение векторных и растровых данных к единому виду, организация хранения, подготовка ML-витрин, обеспечение качества и производительности.
Интеграция источников и сбор данных
– Изучать новые источники данных и предлагать структуры хранения: анализировать формат, схему, качество данных, частоту обновления и ограничения доступа; формировать описание источника и проектировать слой хранения (сырой – нормализованный слой – ML-витрины), включая ключи уникальности, версионирование и правила дедупликации.
– Подключать новые источники данных: API/HTTP, файлы, БД, геосервисы (OGC WMS/WFS/WMTS), FTP/S3-подобные хранилища.
– Разрабатывать и поддерживать коннекторы, сервисы загрузки: повторные попытки, ограничение запросов, контроль прогресса, идемпотентность, дедупликация.
– Организовать сбор данных в сырой слой (staging) и приводить их в целевую схему: очистка, нормализация и т.д.
Геоданные (ядро роли)
– Загружать и приводить геоданные к единому формату: работать с векторными и растровыми данными – GeoJSON, GeoPackage, Shapefile, KML, GeoTIFF, COG (Cloud Optimized GeoTIFF) и другими форматами.
– Организовывать хранение векторных геоданных в PostGIS: поддерживать геометрию объектов, настраивать пространственные индексы, проверять и исправлять некорректные геометрии.
– Организовывать хранение растровых данных: готовить и размещать GeoTIFF/COG и другие растры в файловом или S3-совместимом хранилище; в PostGIS хранить метаданные растра (время, покрытие, CRS, разрешение, ссылки/пути, контрольные суммы) и обеспечивать быстрый поиск по области и времени.
– Работать с системами координат: определять и приводить данные к нужной системе координат (CRS), выполнять преобразования и контролировать типичные ошибки привязки.
– Готовить данные для отображения на карте: упрощать геометрию, выбирать формат выдачи (GeoJSON/тайлы), при необходимости формировать тайлы и облегчённые представления.
Качество, эксплуатация
– Настраивать контроль качества данных: проверки полноты, корректности, актуальности, поиск дублей и аномалий, формирование отчётов по качеству.
– Оптимизировать хранение и запросы: настраивать индексы, при необходимости применять партиционирование по времени/объёму и улучшать производительность обработки.
– Вести понятную техническую документацию: описывать форматы и структуру данных, договорённости по полям и правилам, а также весь поток обработки – от источника до витрин/выдачи.
Наши ожидания (обязательные требования)
– Практический Python для обработки данных и написания сервисных скриптов.
– PostgreSQL/PostGIS: уверенный SQL и понимание PostgreSQL (индексы, транзакции, ограничения, оптимизация запросов) и базовые навыки работы с PostGIS (геометрии, пространственные запросы, пространственные индексы).
– Опыт построения загрузки данных «с нуля» (ingestion/ETL/ELT): подключение источников, расписания, повторные запуски, контроль прогресса, идемпотентность, дедупликация, ведение сырого слоя.
– Геоданные и ДЗЗ как основная область:
– понимание геометрий и систем координат (CRS — Coordinate Reference System), типовых ошибок привязки и преобразований;
– работа с форматами геоданных (вектор/растр), включая GeoTIFF и COG (Cloud Optimized GeoTIFF);
– базовое понимание данных ДЗЗ: метаданные сцен, подготовка данных для отображения (квиклуки, тайлинг).
– Linux и Git: уверенная работа в терминале и с системой контроля версий.
Будет плюсом
– PostGIS на практике: GiST-индексы, ST_*-функции, проверка/исправление некорректных геометрий, оптимизация пространственных запросов.
– Знание «геоинструментов»: GDAL/OGR, GeoPandas, Shapely, PyProj, Rasterio.
– Оркестрация пайплайнов: Airflow / Prefect / Dagster (или аналоги), опыт эксплуатации задач и мониторинга.
– Хранилища и деплой: S3-совместимые хранилища (MinIO/AWS S3), Docker, CI/CD.
Кому эта роль НЕ подойдёт
– Если ваш основной опыт — витрины/отчётность поверх уже готового DWH, где источники и схемы даны, а разработка загрузки, разбор форматов и работа с “грязными” данными минимальны.
– Если вам ближе BI-аналитика и отчёты, а не инженерия интеграции: коннекторы, ingestion, нормализация, контроль качества.
– Если вы не готовы работать с геоданными (CRS, геометрии, PostGIS, форматы вектор/растр) как с основной частью задач.
Мы предлагаем
– Оформление по ТК.
– Гибкий график, офис/удалёнка/гибрид.
– Адекватный процесс: задачи через понятные требования, возможность влиять на технические решения.
– Время на развитие: обучение инструментам, обмен опытом.
– Уровень дохода обсуждается по итогам собеседования.