Data Engineer (Python + Spark)
#middle
#офис
X5 Tech
Data Engineer (Python + Spark)
Формат работы: офис (Москва)
В команде разрабатывается ML-система, детектирующая Out-of-stock ситуации и аномалии в продажах, которая в near-real-time выявляет потенциальные проблемы с наличием товара и отправляет предупреждения сотрудникам магазинов.
☑️
Чем предстоит заниматься
-Разрабатывать и оптимизировать Spark-пайплайны для обработки данных в масштабе (200+ млн строк ежедневно)
-Настраивать хранение и доступность данных в DWH
-Автоматизировать интеграцию данных: продажи, акции, цены, остатки, погода, календари
-Работать в связке с Data Science-командой, обеспечивая стабильный и качественный поток данных для моделей
-Участвовать в развитии платформы прогнозирования спроса
☑️
Наши пожелания к кандидатам
-Стек: PySpark 2/3, Spark SQL
-Hadoop / Hive / Trino / S3 / ClickHouse / Postgres / Greenplum
-Airflow, Python3, Docker, YARN/k8s, pytest
Откликнуться
🔥
Подписаться на наши каналы
/
@best_itjob
/
@it_rab
Откликнуться в Telegram →
⚠️ Никогда не платите «за оформление» или «гарантию трудоустройства» — это признак мошенников. Работа ТРУ не несёт ответственности за содержание вакансии.
