Data Engineer / Рекомендации

Data Engineer / Рекомендации #удаленка Компания : Wildberries 🔹 Что нужно делать -Поддерживать пайплайны на Greenplum; сопровождать и оптимизировать существующие ETL/ELT-процессы: мониторинг, диагностика деградаций, партиционирование, работа с каталогом; -заниматься интеграциями новых источников; -подключать новые продуктовые команды и внешние источники: технический ресёрч, проектирование схем интеграции, data contracts. Взаимодействие с владельцами источников на уровне технических требований; -участие в миграции: перепроектирование слоёв под Iceberg (partitioning, schema evolution, snapshot management), понимание компромиссов MPP vs object storage. 🔹 Какой опыт и знания нужны -Владеете опытом с Airflow как оркестратором; -имеете работы с Hadoop (Spark/Yarn/Hdfs); -имеете работы c Greenplum или другими MPP-системами; -работали с Trino как query engine. Откликнуться 🔥 Подписаться на наши каналы / @best_itjob / @it_rab