Data Engineer

Data Engineer Ищем в Ташкент DE(MLE тоже нужен), который поможет построить современную Lakehouse/Data Platform : от ingestion/CDC и пайплайнов обработки до витрин, качества данных и наблюдаемости. ## Чем предстоит заниматься - Разрабатывать ingestion/CDC пайплайны (Debezium/Flink CDC) и доводить их до production-качества: ретраи, дедупликация, DLQ, мониторинг lag’ов. - Строить batch-пайплайны на Spark и выкладывать данные в Iceberg (Bronze/Silver/Gold), поддерживать schema evolution бороться с мелкими файлами - Разрабатывать и поддерживать трансформации в dbt: staging/intermediate/marts, инкрементальные модели, тесты, документация и lineage. - Оптимизировать запросы/витрины под Trino (партиционирование, статистики, cost-based оптимизации), при необходимости — выносить агрегаты. - Прорабатывать модель данных и контракты с продуктами (Clickstream / Search / RecSys) и прикладными командами. - Встраивать качество, каталогизацию и доступы: DataHub, правила OPA, ожидания Great Expectations. - Участвовать в эксплуатации: алерты, метрики, SLO/SLA, разбор инцидентов, runbooks. ## Требования - Сильный Python - Опыт со Spark (PySpark; Scala/Java — большой плюс). - Понимание lakehouse подхода и работы табличных форматов - Опыт с Kafka, понимание CDC. - Практика Airflow и/или dbt в реальных проектах. - Умение думать про надежность: идемпотентность, exactly-once/at-least-once, обработка ошибок, backfill. - Опыт с Trino/Presto, настройкой и оптимизацией аналитических запросов. - Опыт со Flink/Spark (stream processing, event time, state, checkpoints). - Понимание DataHub/lineage и Data Quality фреймворков. - Опыт Kubernetes/Helm и взаимодействия с DevOps. ## Cтек - Storage : S3 + Apache Iceberg - Batch processing : Spark/Trino/Flink - Streaming : Apache Kafka + Apache Flink + Apache Spark - CDC/ingestion : Debezium , Flink CDC - Orchestration : Apache Airflow (Kubernetes Executor) - Transformations / marts : dbt Core - Query layer : Trino - Data Quality : dbt tests, Great Expectations - Infra : Kubernetes , Helm, ArgoCD, облако Если интересно, резюме можно направить - @dadatum