Руководитель аналитики приёмки моделей в команду Alice AI

🔎 Руководитель аналитики приёмки моделей в команду Alice AI Алиса — один из самых популярных ассистентов в России, которым ежедневно пользуются миллионы людей. Наша команда развивает качество ключевой LLM-технологии компании: мы работаем над тем, чтобы модели становились умнее, полезнее и надёжнее. Какие задачи вас ждут : • Приёмка моделей Вы будете полностью вести приёмку новых версий моделей: определять, какие замеры нужны для конкретного релиза, запускать оценки, объединять результаты и готовить заключение о качестве модели. • Развитие системы метрик Вы станете развивать систему метрик, которая покажет реальное качество моделей. Вам нужно будет определить обязательные сигналы, объединить разные оценки в общую картину, рассчитать статистическую значимость и научиться отличать настоящие изменения от случайного шума. • Работа с данными и инструментами приёмки Вы будете отвечать за оценочные наборы — определять их состав, следить за покрытием важных сценариев, управлять версиями и обеспечивать воспроизводимость замеров. Также вам предстоит развивать инструментарий: создавать автоматические оценщики на базе LLM (LLM-as-a-judge) и применять гибридные методы. • Управление командой и процессами Вы соберёте команду аналитиков приёмки, будете распределять направления работы, наставничать и планировать ресурсы. Мы ждём, что вы : • Управляли командой аналитиков не менее двух лет • Любите работать с данными и умеете извлекать из них практический результат • Знаете матстат и тервер • Умеете писать код на Python и знаете алгоритмы • Умеете формулировать обоснованное заключение и защищать его перед заказчиками в условиях неполных данных Почему у нас хорошо: Мы предоставляем полный набор, который поможет уберечься от тревожности и выгорания: ежегодные медицинские чекапы, йога и психотерапия. Это не все бонусы — полный список тут . 📩 Откликайтесь на вакансию на нашем сайте #aliceai #ml #llm #python #аналитика