Т-Банк: junior и middle ML

❤️ Т-Банк: junior и middle ML ❤️ #tbank Junior ML Недавно проходил собеседование в тбанк на позицию по общему ML. Впечатления: заметно сложнее, чем в яндексе Закончил примерно минут за сорок , но были вопросы, на которые не смог ответить полностью. Запомнилось, что было много вопросов по метрикам классификации Как считается micro-F1 и чем отличается от macro-F1? подсказка: micro-F1 агрегирует TP/FP/FN по всем классам перед вычислением precision и recall, а macro-F1 сначала вычисляет F1 для каждого класса, а потом усредняет обсудили модели кластеризации, логистическую регрессию Логистическая регрессия обучена, но метрика F1 на тесте низкая проверить дисбаланс классов, попробовать изменить threshold Кластеризация KMeans дала плохие кластеры протестировать другие k, нормализовать данные, попробовать DBSCAN Одна фича, один таргет; обучили модель на трейне, но весь тест лежит правее трейна (вне диапазона по фиче), что произойдёт? модель будет экстраполировать, если линейна В выборке 1000 наблюдений. Как проверить, что распределение таргета - нормальное? Middle ML System Design у банка есть пул вопросов для подтверждения личности клиента (ex., когда зарегистрировались, сколько тратите в месяц) некоторые клиенты не помнят ответы, из-за чего оператору приходится задавать много лишнего задача: спроектировать систему, которая заранее выбирает минимальный, но достаточный набор вопросов с высокой вероятностью получения верных ответов тут, как я понимаю, проверяют, сможешь ли по истории и признакам клиента оценить вероятность ответа, выбрать минимальный набор вопросов с помощью ML и грамотно описать A/B-тестирование: например, сравнения длины верификации, количества вопросов и успешности обсудили построение простой рекомендательной системы для интернет-магазина + поговорили про ускорение инференса моделей @zadachi_ds 🗣