вакансия

#вакансия #ML #ComputerVision #Python #удаленка #EvApps Data Engineer Middle+ / Senior Компания: EvApps ЗП вилка до 200 на руки Удаленно, РФ Полная занятость 📰 Ищем Data Engineer для разработки data lakehouse решения для заказчика (работа под NDA). Требования: -Опыт работы Data Engineer от 3 лет; -Опыт построения ETL/ELT пайплайнов в продакшн; -Работали с большими объемами данных; -Уверенно владеете Python; -Имеете опыт обработки и трансформации данных (pandas, PySpark или аналоги); -Работали с XML (lxml, ElementTree или аналоги); -Понимаете форматы хранения данных (Parquet, columnar storage); -Работали с S3 или аналогичными хранилищами; -Понимаете архитектуру data lake / lakehouse и multi-layer подход (raw → processed → curated); -Имеете опыт подготовки данных (нормализация, дедупликация, golden record / master data); -Работали с реляционными БД (PostgreSQL, Greenplum, ClickHouse или аналоги) и SQL; -Имеете опыт работы с Airflow или аналогами; -Работали с Docker и CI/CD; -Имеете опыт работы с облаками (Yandex Cloud, AWS, GCP); -Работали с Git. ➕ Будет плюсом: -Опыт работы со Spark, Hadoop; -Опыт работы с Delta Lake, Iceberg, Hudi. 💻 Обязанности: -Разрабатывать и оптимизировать ETL-пайплайны; -Обрабатывать и трансформировать XML-данные; -Строить raw-слой (Parquet в S3) и витрины данных; -Реализовывать нормализацию, дедупликацию и формирование "золотых" записей; -Обеспечивать производительность обработки данных; -Готовить решения к переносу в закрытый контур заказчика; -Взаимодействовать с аналитиками, архитектором, DevOps и командой проекта. Откликнуться с пометкой [Data Engineer] 👋 @yanaapon