Готовимся к работе в Data Science, pro

✍️ Готовимся к работе в Data Science, pro #ml (ч.9) Алгоритм kNN, гипотезу компактности и в целом метрические алгоритмы мы разбирали в 6-й части нашей серии публикаций про ML и Data Science. Чем глубже мы понимаем математику, стоящую за алгоритмом, тем эффективнее мы будем обучать модели машинного обучения. Бонусом — не будем использовать там, где толку от этих алгоритмов не будет, сэкономив и время, и деньги (наше время, время работодателя и вычислительные ресурсы). Давайте на этой неделе погрузимся в механизмы работы деревьев. Деревья — это базовый компонент группы ансамблевых методов , широко используемых на практике за счет качества таких моделей и их применимости к Big Data (см. параллелизм). Что нужно научиться делать для эффективного использования этих алгоритмов: 1 Понять смысл слова Энтропия // и научиться считать на бумажке энтропию Шеннона 2 Понять смысл Information Gain (прирост информации) 3 Осознать, почему деревья без ограничений всегда будут получаться переобученными и что с этим можно делать (см. pruning) 🤯 Понять почему деревья не умеют решать задачу экстраполяции Предлагаем выбрать жертву в вашем окружении для тренировки собеседований. Гораздо лучше и интереснее, если человек будет не из области Machine Learning. Вы должны научиться объяснять эти термины даже школьнику. Лайфхак про энтропию: Пример: если в мешке 100 шаров и все шары красные. Насколько однозначно вы вытащите красный шар из мешка? А если 50 шаров синих и 50 красных? Чему равна энтропия в обоих случаях? 1. Удобное сравнение: мера "неопределенности", "неоднородности" или "неоднозначности". 2. Энтропия соответствует степени хаоса в системе. Чем выше энтропия, тем менее упорядочена система и наоборот. Поделитесь : насколько интересно исследовать и искать ответы на вопросы самостоятельно? Этот скилл является одним из самых необходимых для роста в сфере IT. 🚀 Что делать, если вы хотите двигаться еще быстрее — записаться на Практический курс по Machine Learning — пройти тестирование по ML — познакомиться с авторами курса Остались вопросы? Напишите нам в [ WA / TG ] Полезная информация Прошлые выпуски: — ч.1 введение в ML и библиотеки ML для Python — ч.2 оценка качества работы алгоритмов и learning curves — ч.3 визуализация в анализе данных — ч.4 разведочный анализ данных и статистические интеграции — ч.5 оптимизация ML алгоритмов — ч.6 Hello, world в мире ML и алгоритм kNN — ч.7 презентация результатов в ML — ч.8 эксперименты с простыми алгоритмами ML ✍️ Сохраните и подпишитесь , если хотите быть востребованным в IT BigData Team : the way you learn best Py4BDA | Python | Machine Learning | Big Data | BD/ML Engineer #study #BigDataTeam