Data Engineer

#senior #офис #москва #спб #нн CINIMEX Data Engineer Опыт работы: глубокий экспертный опыт с Apache Spark от 4-5 лет Формат работы: офис/гибрид (Москва, Нижний Новгород, Санкт-Петербург) CINIMEX — IT-компания с 29-летней историей, разработчик ПО и системный интегратор. Работает с российскими банками ТОП-20, ритейлерами, производственными и добывающими компаниями. ☑️ Чем предстоит заниматься -Разработка ETL-пайплайнов (Apache Spark on Java, HDFS (parquets), ClickHouse, Hive, Greenplum) -Разработка витрин данных в Greenplum и ClickHouse -Оркестрация ETL-процессов -Оптимизация ETL-процессов (батчинг, ретраи, SLA-контроль) -Взаимодействие с BI-разработчиками и DevOps для своевременной доставки данных в Superset ☑️ Наши пожелания к кандидатам -Глубокий экспертный опыт работы с Apache Spark от 4-5 лет (оптимизация джобов, работа с широкими и узкими зависимостями, настройка памяти и shuffle-операций) -Опыт работы с ClickHouse и Hadoop (HDFS, Hive) -Опыт проектирования и разработки потоков данных, алгоритмов загрузки и обработки данных -Продвинутые знания SQL -Готовность осваивать Java для использования Spark Откликнуться 🔥 Подписаться на наши каналы / @best_itjob / @it_rab