Kubernetes

#vacancy #DataOps #Kubernetes #Spark #Flink #Iceberg #Lakehouse DataOps Engineer (Kubernetes / Spark / Flink / Lakehouse) 📊 ⚙️ ID вакансии: DaOp_AiP Ставка: обсуждается. Грейд: Senior / Senior+ / Lead. Загрузка: Full-time (полная занятость). Срок проекта: от 6 месяцев. Формат: Удалённо. Язык: Английский — чтение технической документации. Локация/Гражданство: РФ, РБ. 📌 Важно: рассматриваются кандидаты с релевантностью опыта от 85% (аутстаффинговая позиция). Ищем DataOps-инженера уровня Senior / Lead для работы с современной data-инфраструктурой. Ключевая особенность роли — работа на стыке Kubernetes, вычислительных фреймворков (Spark, Flink) и современных форматов хранения данных (Iceberg, Paimon). Предстоит развёртывать и поддерживать вычислительные кластера, автоматизировать CI/CD для data-пайплайнов и участвовать в построении Lakehouse/Streamhouse-архитектур. 🚀 Ключевые задачи: Kubernetes и деплой: развёртывание и поддержка вычислительных фреймворков (Spark, Flink) в Kubernetes с использованием Helm. CI/CD: настройка и поддержка пайплайнов непрерывной интеграции и доставки для data-решений. Хранилища данных: администрирование и настройка современных форматов хранения (Iceberg, Paimon) и S3-совместимых систем (MinIO, AWS S3). Автоматизация: написание скриптов автоматизации на Bash, Python, Groovy. Потоковая обработка: поддержка и настройка потоковой обработки данных. Взаимодействие с командами: работа с Git, GitLab, Jira, Confluence в рамках проектной деятельности. 🎯 Обязательные требования: Kubernetes и CI/CD: Опыт работы с Kubernetes: деплойменты, Helm. Опыт работы с системами CI/CD. Вычислительные фреймворки: Опыт администрирования и настройки вычислительных фреймворков (Spark, Flink или аналоги). Хранилища данных: Опыт работы с хранилищами данных (Iceberg, Paimon или схожие). Опыт работы с S3-совместимыми системами хранения (MinIO или AWS S3). Автоматизация: Навыки автоматизации (Bash, Python, Groovy и др.). Инструменты и процессы: Знание Git, опыт работы с GitLab / Jira / Confluence. Архитектура данных: Понимание принципов DWH и потоковой обработки данных. Язык: Английский на уровне чтения технической документации. 💡 Будет преимуществом (Nice to have): CDC и интеграции: Опыт настройки CDC (Change Data Capture). Инфраструктура как код: Знание Terraform или Ansible. Query-движки: Опыт работы с Trino, StarRocks. Архитектуры: Опыт в построении Lakehouse / Streamhouse архитектур. Знание особенностей работы с Big Data-стеком. 📲 Контакт для отклика: @hrwomenpro (При отклике, пожалуйста, сразу присылайте актуальное резюме, пишите ID вакансии: DaOp_AiP)