удаленка

#senior #удаленка Flowwow Senior Data Engineer Полная занятость Формат работы: можно удалённо ☑️ Чем предстоит заниматься -Развивать ядро платформы: фреймворк Data Vault, обвязку Airflow, lineage-инструменты — проектировать API, которыми будут пользоваться другие инженеры, и нести за них ответственность -Писать библиотеки и фреймворки на Python: клиенты к источникам, инструменты тестирования пайплайнов, обёртки над инфраструктурой. Чистый код, типизация, тесты, ревью — это у нас норма, а не аспирация -Работать с lakehouse на глубине: Iceberg maintenance и оптимизация layout'а таблиц, тюнинг Trino, Spark-джобы для тяжёлых трансформаций -Строить интеграции с источниками: OLTP-базы, REST/gRPC API, Kafka, файловые хранилища, SaaS-системы — и проектировать унифицированные интерфейсы, чтобы подключение нового источника занимало часы, а не недели -Внедрять AI в инженерные процессы: агенты для расследования инцидентов и анализа качества данных, ассистенты для DAG'ов и code review. У нас уже есть работающая агентная инфраструктура (LangGraph, MCP) — её можно и нужно развивать -Участвовать в архитектурных решениях: выбор технологий, дизайн интерфейсов между компонентами, вынесение best practices в команду -Делать code review и менторить менее опытных коллег ☑️ Наши пожелания к кандидатам -Промышленный опыт от 5 лет в data engineering или backend-разработке с сильным дата-уклоном: production-системы под реальной нагрузкой, ответственность за их эксплуатацию, а не только за написание кода -Python — главное требование. Уровень senior разработчика: ООП, проектирование API библиотек, типизация, тесты, опыт написания переиспользуемых компонентов, которыми пользовались другие люди -Lakehouse-стек на практике. Apache Iceberg (или Delta/Hudi с готовностью быстро переключиться): устройство таблиц, snapshots, компакция, schema evolution. Понимание, чем lakehouse отличается от классического DWH не на уровне статьи на Medium -Trino или другой MPP-движок: архитектура распределённого выполнения, чтение планов запросов, оптимизация, опыт работы с коннекторами -Apache Airflow глубоко: не только разработка DAG'ов, но и внутреннее устройство (scheduler, executors, метаданные), опыт написания собственных операторов и хуков -Apache Spark: PySpark, Spark SQL, понимание модели выполнения -SQL продвинутого уровня: оконные функции, CTE, оптимизация, чтение планов исполнения, работа с большими объёмами -Git, CI/CD — уверенно -Будет сильным плюсом -Опыт разработки внутренних платформенных инструментов или фреймворков, которыми пользуются другие команды -AI-native подход к разработке: активное использование Claude Code / Codex и подобных инструментов, опыт построения harness-систем — агентов с инструментами, автоматизации через LLM, RAG -Kubernetes: деплой и эксплуатация дата-сервисов, Helm, понимание ресурсной модели -Опыт с CDC (Debezium, Kafka Connect) и стриминговыми пайплайнами -Знание форматов хранения (Parquet: row groups, статистики, predicate pushdown) -Опыт работы с системами контроля доступа к данным (OPA, row-level security, маскирование) -Условия -полная занятость -оформление: трудовой договор -график: 5/2 -удаленный формат работы -уровень дохода обсуждается на этапах найма Контакты: hello@flowwow.com 🔥 Подписаться на наши каналы / @best_itjob / @it_rab