Data Engineer

Data Engineer #удаленка #middle Компания : deeplay 🔹 Предстоит поддерживать и развивать: -Десктопное кроссплатформенное ПО (Java 17+, Swing); -Монолитное ПО, включает в себя клиентскую и серверную части (взаимодействие посредством gRPC); -Отсутствие фрэймворка, используются собственные наработки; -Организация взаимодействия с БД (Postgre SQL , ClickHouse) посредством jdbc, без подключения дополнительных библиотек; -Организация работ механизмов в многопоточном режиме с помощью ExecutorService, CompletableFuture; -Покрытие кода тестами (Mockito, JUnit); -Аналитические запросы и большие объёмы данных (~60 TB). 🔹 Основное: PostgreSQL: глубокое знание системных каталогов, статистики, индексов, партиционирование, наследование, foreign tables,  EXPLAIN ANALYZE,  cost model, pg_stat_statements, pg_stat_activity, pg_locks, индексные стратегии, lock monitoring SQL: сложные запросы с CTE, window functions, lateral joins, динамический SQL, хранимые процедуры, триггеры, функции, query rewriting, понимание планов выполнения 🔹 Для реализации задач тебе потребуется: -Опыт работы в аналогичной роли от 3 лет знание теории реляционных БД, понимание логической, физической моделей БД; -опыт оптимизации сложных запросов; -опыт поиска проблем в работающих под высокой нагрузкой системах. -Опыт создания и поддержки ETL-процессов; -Глубокий практический опыт разработки на Python (pandas, numpy); -Опыт работы с Apache Airflow, самостоятельное создание DAG; -Опыт работы с СУБД PostgreSQL, написание средних/сложных и нетривиальных SQL-запросов; -Умение самостоятельно брать задачи, по необходимости уточнять требования и доводить до финального результата; -Навык поиска оптимальных решений: умение работать в условиях неопределенности, формулировать вопросы и предлагать решения. Будет плюсом: Bash: скрипты для автоматизации рутинных операций Linux: command line (уверенный уровень), systemd, cron, bash scripting Понимание алертинг стратегии Опыт работы с ClickHouse Docker (базовое понимание) Ansible/Terraform: базовое понимание для автоматизации Python/Pandas для сложной аналитики Jupyter notebooks для исследовательского анализа pgBadger для детального анализа Мониторинг БД: анализ connection pools (PgBouncer), performance troubleshooting, анализ wait events 🔹 Мы предлагаем: -Гибкий подход к формату и месту работы — выбирай любое место на карте или один из комфортных офисов в Омске, Новосибирске и Санкт-Петербурге; -Корпоративную культуру: общаемся на равных, поддерживаем друг друга, ценим обратную связь и инициативность, легкость общения и юмор. -Возможность влиять на процессы: если увидишь потенциал для улучшения, сможешь воплотить свои идеи, повысить эффективность и качество продукта. -Стать частью команды, которая находит драйв в своих задачах и стремится к технологическому лидерству в индустрии. -Доступность руководства компании и открытую внутреннюю политику. Контакты : talent@deeplay.io 🔥 Подписаться на наши каналы / @best_itjob / @it_rab