Data Engineer (Python + Spark)

#middle #офис X5 Tech Data Engineer (Python + Spark) Формат работы: офис (Москва) В команде разрабатывается ML-система, детектирующая Out-of-stock ситуации и аномалии в продажах, которая в near-real-time выявляет потенциальные проблемы с наличием товара и отправляет предупреждения сотрудникам магазинов. ☑️ Чем предстоит заниматься -Разрабатывать и оптимизировать Spark-пайплайны для обработки данных в масштабе (200+ млн строк ежедневно) -Настраивать хранение и доступность данных в DWH -Автоматизировать интеграцию данных: продажи, акции, цены, остатки, погода, календари -Работать в связке с Data Science-командой, обеспечивая стабильный и качественный поток данных для моделей -Участвовать в развитии платформы прогнозирования спроса ☑️ Наши пожелания к кандидатам -Стек: PySpark 2/3, Spark SQL -Hadoop / Hive / Trino / S3 / ClickHouse / Postgres / Greenplum -Airflow, Python3, Docker, YARN/k8s, pytest Откликнуться 🔥 Подписаться на наши каналы / @best_itjob / @it_rab