DataEngineer

#vacancy #DataEngineer #ETL #Airflow #SCD2 #PostgreSQL #Python #Java #SpringCloudDataFlow #Senior Инженер данных (ETL / SCD2 / Airflow / Spring Cloud Data Flow) ⚙️ 📊 ID вакансии: 185_Kok Ставка: обсуждается. Грейд: Senior. Загрузка: Full-time (полная занятость). Формат: Удалённо. Часовой пояс: работа по времени МСК. Локация/Гражданство: РФ и дружественные страны. ⏳ Срок актуальности вакансии: до 28.08.2026. 📌 Важно: рассматриваются кандидаты с релевантностью опыта от 85% (аутстаффинговая позиция). 🧩 Стек проекта: PostgreSQL, SQL, Apache Airflow, Python, Java, Spring Cloud Data Flow, Docker. Ищем Senior Инженера данных для работы над полным циклом ETL в слоистой архитектуре хранилища. Роль для зрелого специалиста с опытом от 5 лет (из них от 3 — в роли инженера данных), который умеет выстраивать пайплайны от сырого слоя до витрин, работать с иерархическими справочниками, обеспечивать историчность данных (SCD2) и проводить сквозную сверку с представителями бизнеса до полного схождения. 🚀 Ключевые задачи: Загрузка данных из источников в сырой слой, инкрементальные загрузки. Построение слоя стандартизации, моделей трансформаций и core-слоя. Разработка и поддержка витрин данных. Обеспечение историчности записей (SCD2). Написание и поддержка тестов качества данных. Мониторинг регламентных процессов. Сверка данных с представителями бизнеса до полного схождения. 🎯 Обязательные требования: Опыт: От 5 лет общего опыта в данных. От 3 лет именно в роли инженера данных. Уровень: Senior . ETL и архитектура: Полный цикл ETL в слоистой архитектуре: сырой слой, стандартизация с очисткой и дедупликацией, core-слой с нормализацией измерений и фактов, витрины. Работа с данными: Иерархические справочники и сопоставление кодов сущностей между несколькими учётными системами. Обработка несопоставленных позиций. Историчность (КРИТИЧНО!): SCD2 (Slowly Changing Dimensions Type 2) : периоды действия записей, восстановление состояния на произвольный момент, корректные показатели за закрытые периоды. Apache Airflow: Опыт работы с пулом от 50 регламентов . Отладка и оптимизация логики обработки. Источники данных: Загрузка из учётных систем: регулярные файловые выгрузки (CSV, XLSX) и интеграции через API. Контроль качества данных: Уникальность, обязательность, ссылочная целостность. Сверка сумм по иерархиям. 💡 Будет плюсом: Знание Java и Spring Cloud Data Flow . Опыт работы с финансовыми и учётными данными . Опыт написания автотестов качества данных ( Great Expectations и аналоги). ❗️ Анти-профиль (кого НЕ предлагать): SQL-аналитик без промышленного ETL. «Инженер данных» уровня Excel / Power Query. Специалист только по BI-витринам без опыта построения хранилища. 📲 Контакт для отклика: @hrwomenpro (При отклике, пожалуйста, сразу присылайте актуальное резюме с акцентом на опыт полного цикла ETL и SCD2, пишите ID вакансии: 185_Kok)