Аналитик-разработчик претрейна Alice AI LLM

🔎 Аналитик-разработчик претрейна Alice AI LLM Наша команда занимается аналитикой претрейн-модели Alice AI LLM, которая лежит в основе Алисы, Поиска и многих других продуктов Яндекса. Наша цель — улучшать модель, решая множество прикладных задач, постоянно мониторить качество со всех сторон и не терять ничего важного. Для этого нам нужна система надёжных и разносторонних метрик — такими метриками (бенчмарками) и занимается наша команда. Ищем активных и заинтересованных аналитиков. Какие задачи вас ждут: • Создание метрик качества претрейна Наша главная задача — всесторонне оценивать качество претрейн-модели. Перед нами часто возникают новые интересные задачи: как оценить агентские способности модели на этапе претрейна; как замерить, хорошо ли модель будет работать на задачах от разных сервисов Яндекса; хорошо ли наша модель с высоким сodeforces-рейтингом будет писать код для пользователей; как правильно принимать эксперименты на моделях разных размеров. • Интерпретация результатов экспериментов Команда разработки проводит много экспериментов и делает выводы на основе наших метрик. Иногда результаты бывают неожиданными или противоречивыми, в этом случае задача аналитиков — помочь разобраться, что произошло. • Анализ точек роста Всё ещё остаются сложные задачи, с которыми наша модель пока не справляется на должном уровне, но мы стараемся выбрать из них самые перспективные, разобрать проблемы и вместе с командой разработки придумать план решения. Мы ждём, что вы: • Работали над метриками в NLP • Уверенно владеете SQL и Python • Умеете анализировать данные, строили эффективные процессы их обработки Будет плюсом, если вы: • Работали над LLM • Строили агентские системы • Делали крауд-разметки с системой контроля качества Почему у нас классно: ДМС Яндекса действует с первого месяца работы. Причём получить плановую или неотложную помощь можно и за рубежом — так что можно не бояться путешествовать. Это не все бонусы — полный список тут . 📩 Откликайтесь на вакансию на нашем сайте #алиса #ML #LLM #AI #SQL #python #аналитика