dataengineering

#vacancy #remote #dataengineering #microsoftfabric #azure #python #pyspark #sql Senior Data Engineer Локация: удаленно (Великобритания / Нидерланды) Зарплата: $5,000–9,000 gross Требования : ▫️ Data Platform: Microsoft Fabric (OneLake, Data Factory, Synapse Data Engineering / Data Warehouse) ▫️ Data Engineering: Apache Spark / PySpark, Azure Data Factory, Dataflow Gen2, ETL/ELT ▫️ Programming: Python, SQL / T-SQL ▫️ Architecture & Storage: Lakehouse / DWH, Medallion Architecture (Bronze / Silver / Gold), Delta Lake / Parquet ▫️ Cloud: Microsoft Azure, AWS S3 / GCP, Fabric Shortcuts ▫️ DevOps: Git, Azure DevOps / GitHub Actions, Docker, CI/CD ▫️ Data Analytics: Data Marts, relational data modeling, Power BI - буде преимуществом ▫️ Английский : В2+ Основные задачи : ▫️ Архитектура Lakehouse / DWH Проектирование и построение end-to-end архитектуры хранилища данных с нуля в среде Microsoft Fabric. Реализация многоуровневой архитектуры хранения данных по модели Medallion — Bronze, Silver, Gold — на основе Delta Lake (Parquet). ▫️ Разработка ETL/ELT-пайплайнов Создание и поддержка надёжных и отказоустойчивых pipelines для интеграции данных с использованием Azure Data Factory и Dataflow Gen2. Настройка подключений к внешним облачным источникам AWS S3 / GCP через Fabric Shortcuts. ▫️ Обработка больших данных Разработка и оптимизация высокопроизводительного распределённого кода на PySpark для очистки данных, сложных трансформаций и агрегации больших объёмов информации. ▫️ Проектирование Data Marts и работа с T-SQL Проектирование реляционных моделей данных и аналитических представлений в Synapse Data Warehouse. Оптимизация сложных T-SQL-запросов для достижения минимальной задержки. ▫️ Автоматизация и CI/CD Настройка процессов Continuous Integration и Continuous Deployment с использованием Azure DevOps / GitHub Actions для автоматизации развёртывания инфраструктуры DWH, схем и кода. Пишите в Telegram: @Martsun_Partners