Data Engineer / Technical Lead

😐 🧠 😘 😀 😘 😘 🥰 😀 🫢 Data Engineer / Technical Lead Проект: Участие в миграции ИС на Apache стек Проект: Телекоммуникации - Занятость: полная - Локация: РФ - Гражданство: РФ - Формат: Удаленно Вилка: 250-270 - Роль: Data Engineer / Technical Lead - Уровень: Senior / TeamLead Обязательно: - Опыт разработки ETL/ELT-процессов, в которых значительная часть логики реализована на стороне СУБД; - Опыт разработки и сопровождения хранимых процедур / функций в СУБД; - Практический опыт использования SQL/PLSQL или аналогичных процедурных расширений SQL для реализации загрузок и трансформаций данных; - Опыт участия в проектах миграции ETL-систем (Apache стек); - Опыт разработки на Python (написание ETL-скриптов, работа с pandas, интеграция с API); - Опыт написания и отладки DAG'ов в Apache Airflow (не только проектирование, но и разработка); - Опыт работы с PySpark (трансформации, оптимизация, партиционирование); - Опыт миграции ETL-процессов с Informatica PowerCenter на открытый стек (Airflow + Greenplum); - Глубокое практическое знание NiFi и Airflow: проектирование потоков, подключение источников, обработка ошибок, мониторинг, отладка; - Опыт работы с качеством данных: разработка правил валидации, анализ влияния на бизнес-процессы; - Понимание архитектурных подходов к проектированию хранилищ, различие ETL и ELT; - Опыт работы с Hive metastore (устройство, хранение на PostgreSQL) и форматами файлов (Parquet, ORC); - Опыт работы с Оracle; - Опыт применения сложных SQL-запросов (оконные функции, джоины); - Умение оптимизировать запросы для highload-среды; - Опыт проектирования интеграций Apache-стека с Kafka и BI-системами; - Опыт настройки потоковой обработки данных; - Опыт работы с Hadoop и Hive (знание версий, источников данных); - Опыт работы с PostgreSQL, Greenplum, Clickhouse; - Опыт работы с Grafana/Prometheus для отслеживания ETL-процессов; - Опыт работы с биллингом; - Опыт автоматической валидации и контроля качества данных после миграции (сравнение результатов, метрики); Желательно: - Опыт в системном анализе ETL; - Опыт TeamLead (управление командой) не менее 4 лет; - Умение переводить бизнес-требования в технические спецификации; - Опыт подготовки документации для пользователей и разработчиков; - Опыт создания ER-диаграмм, инструкций, тест-кейсов. Задачи: - Миграция ETL-процессов с Informatica PowerCenter на целевой стек: NiFi + Airflow + Greenplum + SQL/хранимые процедуры. - Подготовка документации AS IS и TO BE; - Написание SQL кода; - Отслеживание метрик. Важно, резюме должно отражать: - Расписано, чем занимался на каждом проекте - Указаны навыки и программы которые использовались - Ключевые компетенции: ETL, Apache стек, Spark, NiFi, Airflow, SQL-запросы, Grafana/Prometheus Направить CV @EkaterinaLiberman