Ввели у себя во вселенной систему “грейдирования” ассистентов.

Ввели у себя во вселенной систему “грейдирования” ассистентов. Сравниваем, на каком уровне работает ассистент: человек, эксперт или топ-эксперт. Чем выше грейд, тем больше ценности получает пользователь от ассистента. Простой пример. Есть тревел-ассистент, одна из задач которого — подбирать авиабилеты под задачу пользователя (“когда в октябре и дешевле лететь в Испанию из мск с минимальным количеством пересадок”). Для него есть 3 грейда: 1. Обычный человек — с каким качеством человек сам для себя подберёт билеты (человек не всегда может найти лучшее предложение — заленится долго искать или просто просмотрит) 2. Консьерж-сервис / обычный ассистент — человек, на которого могут делегировать такую задачу 3. Турагент — человек, для которого это является основной работой Если ассистент работает на уровне обычного человека, пользователь получает ценность в виде экономии времени — ему не надо самостоятельно делать кучу поисков и просматривать миллион билетов, сравнивать и выбирать лучший. Ассистент сделает это за него с таким же уровнем ошибки, как сделал бы сам пользователь. Если ассистент работает на более высоком грейде, пользователь начинает экономить время и деньги , которые отдал бы эксперту за решение его задачи. Как сравнивать Придумали грейды — как понять, до какого из них “дорос” ассистент? Глобально есть 2 варианта: ⁃ Абсолютный скоринг — ставим оценку каждому варианту решения задачи по какой-то шкале, потом сравниваем оценки. Например, человек подобрал на троечку, ассистент на 3,5, консьерж — 4, турагент — 5 => ассистент перебил человека, но не перебил остальные грейды. ⁃ Sbs (side-by-side) — попарно сравниваем ответы каждого варианта решения задачи, строим рейтинг на основе win-rate таблицы (как в спортивных турнирах). Сравниваем: человек vs ассистент, человек vs консьерж, человек vs турагент итд. Собираем победы в табличку и строим рейтинг, например, по количеству побед. Чаще используют sbs, потому что меньше искажений от шкалирования — даже людям сложно одинаково оценить один и тот же ответ по шкале. А ещё sbs позволяет понять, какой ответ предпочтительнее, даже если по абсолютному скорингу они равны. В итоге У ассистента есть грейд (всё как на работе, да). А мы понимаем, какую ценность получат пользователи от нашего продукта. И можем её грамотно транслировать. — Вообще, я собрала целый доклад, где структурировала всю базу про создание LLM-based продуктов. Эвалы, бенчи, корзинки, LLM as a judge и другие умные слова, суть которых надо понимать, чтобы создать качественный LLM-продукт. Буду рассказывать на онлайн-конференции WANNABE AI GENIUS. Сразу после меня будет доклад Севы Викулина из Яндекса, который расскажет, как довести до прода прототип, который выбил хорошие метрики качества — как делать на своих моделях, сжимать/ускорять их, чтобы они стоили не как самолёт… Супер полезно и интересно! 30 августа с 11 до 17 по мск Онлайн Билеты тут