DataEngineer

#vacancy #DataEngineer #Python #Airflow #Spark #ETL #Senior ❌ Senior Data Engineer (Airflow / Spark / PostgreSQL) 📊 🔧 закрыта ❌ ID вакансии: DE_AiP Ставка: до 300 000 руб. на руки в месяц. Грейд: Senior. Загрузка: Full-time (полная занятость). Формат: Удалённо. Локация/Гражданство: РФ / РФ. Ищем Senior Data Engineer для построения и развития масштабируемых ETL/ELT-процессов. Предстоит работать с данными из различных источников, разрабатывать пайплайны на Airflow, оптимизировать SQL-запросы и поддерживать современную data-инфраструктуру на базе PostgreSQL, Spark, Hive и MinIO. 🚀 Ключевые задачи: Разработка и поддержка ETL/ELT-процессов: извлечение данных из различных источников, трансформация и загрузка в хранилище. Проектирование и разработка DAG на Apache Airflow для оркестрации пайплайнов. Оптимизация SQL-запросов и работы с реляционными БД. Интеграция и обработка данных в распределённых системах (Spark, Hive). Работа с объектным хранилищем MinIO (S3) и артефактами в Nexus. 🎯 Обязательные требования: Программирование: Уверенные навыки разработки на Python. Знание SQL на продвинутом уровне: JOIN, индексы, агрегатные функции, навыки оптимизации запросов. Оркестрация: Навыки разработки DAG на Apache Airflow. Базы данных и хранилища: Опыт работы с реляционными БД (PostgreSQL). ETL/ELT: Навыки разработки и поддержки ETL/ELT-процессов: извлечение данных из различных источников, трансформация и загрузка в хранилище. Инструменты: Знание Git и умение работать с ветками (GitFlow). 💡 Будет преимуществом (Nice to have): Опыт работы с Apache Spark для распределённой обработки больших данных. Опыт работы с Apache Hive. Опыт работы с объектным хранилищем MinIO (S3-совместимым). Опыт работы с Nexus для управления артефактами. 📲 Контакт для отклика: @hrwomenpro (При отклике, пожалуйста, сразу присылайте актуальное резюме, пишите ID вакансии: DE_AiP)