Область и стек: Big Data/Data Engineering

Область и стек: Big Data/Data Engineering Должность: Дата-инженер Компания: Альфа банк Зарплатная вилка: 150к-300к Формат работы: Удаленка Страна работы: РФ Чем предстоит заниматься: - Подготовка данных для валидации: сбор выборок, целевых переменных (таргетов) и признаков из распределённых хранилищ данных; - формирование и проверка SAMPLE, TARGET, FEATURES-наборов проверка качества данных: дубликаты, пропуски, выбросы, смещение распределений; - анализ датасетов на соответствие техническим и бизнес-требованиям. - поддержка валидационных проектов: - участие в валидации моделей разных продуктов (CLTV, Antifraud, CC, Corp MMB и др.); - поддержка различных веток валидации (с разной логикой сбора данных и таргетов). Наши пожелания к кандидатам: - Опыт работы с SQL / Impala (написание сложных запросов, оптимизация); - Опыт работы с Hadoop / Spark (работа с большими объёмами данных); - Знание базовых статистических метрик для моделей (KS, PSI, GINI, AUC, IV); - Опыт обработки и подготовки данных: pandas, PySpark; - Опыт работы с Jupyter Notebook; - Базовое понимание ML-моделей (классификация, регрессия, калибровка); - Готовность работать с регуляторной документацией. Откликнуться на вакансию