вакансия

#вакансия #senior #DataEngineer #Python #etl #dwh #remote #удаленка #fulltime Data Engineer Middle+/Senior Формат работы: Удаленно Локация: Любая Занятость: Полная З/п: 200-290 т.р. + премии Компания: ggsel Проект - маркетплейс цифровых товаров Отклики сюда ➡️ Data Engineer Основные задачи Разработка и поддержка пайплайнов ·         Проектирование ETL/ELT-процессов для переноса данных из PostgreSQL и других источников в ClickHouse. ·         Написание надёжных и идемпотентных DAG в Airflow для регулярного обновления витрин данных. ·         Построение слоёв данных с использованием dbt. ·         Обеспечение качества данных: тесты, проверка свежести, мониторинг аномалий. Оптимизация хранилища и производительности ·         Тюнинг ClickHouse: настройка схем таблиц под конкретные бизнес-запросы, устранение узких мест. ·         Оптимизация SQL-запросов для снижения нагрузки на БД. ·         Управление ресурсами кластера ClickHouse: CPU, RAM, Disk I/O. ·         Контроль стоимости хранения. Администрирование и надёжность ·         Обеспечение отказоустойчивости: настройка репликации и бэкапов. ·         Мониторинг состояния пайплайнов и баз данных. ·         Оперативное реагирование на инциденты. Требования Глубокое знание ClickHouse ·         Проектирование схем: Знание семейства движков MergeTree, выбор ключей партиционирования и сортировки для оптимального сжатия и скорости чтения . ·         Оптимизация запросов: Умение читать планы запросов, оптимизировать потребление памяти, настраивать материализованные представления (Materialized Views) и проекции. ·         Администрирование: Настройка шардирования и репликации, управление TTL, мониторинг слияний. Инструменты ETL/ELT и Оркестрация ·         Оркестрация: Управление сбором данных через Apache Airflow. ·         Трансформация: Опыт работы с dbt для построения слоев данных. Языки и Инфраструктура ·         Python: Разработка ETL-скриптов, работа с Pandas, интеграция с API. ·         SQL: Владение на уровне эксперта (аналитические запросы, оптимизация). ·         Инфраструктура: Docker (для развертывания ClickHouse), Git. Условия ·         Удаленная работа из любой точки мира. ·         Конкурентная зарплата + performance премия 2 раза в год. ·         Гибкий график и фокус на результат. ·         Оплата обучения, курсов и конференций. ·         Возможность реально влиять на продукт и команду. Отклик можно оставить на нашем корпоративном портале ➡️ Data Engineer