Самый частый вопрос на собеседованиях для ИИ-инженера

Самый частый вопрос на собеседованиях для ИИ-инженера Везде где я проходил собесы всегда присутствовал вопрос про качество выдачи результата нейронки (evals). Не важно это отдельный сервис, отдельный агент или просто написания кода за счет клода/кодекса. 1. Написание кода Зачем спрашивают? Отсеять тех кто просто промптит, а не имеет настроенный процесс. На одном собесе мне напрямую сказали, что кто просто промптит мы не рассматриваем. Тут я всегда рассказываю про свой подход работы своего воркфлоу. В своей работе у меня несколько паттернов для решения задачи: если задача большая: - спличу на мелкие куски аналитику - разбиваю на изолированные подзадачи - по каждой позадаче провожу детальную аналитику + ресерч по коду. оформляется в конце в виде артефакта - синтезирую инфу из артефактов и собираю как можно больше корнер кейсов, ищу потенциальные трейдоффы, слабые места После этого только начинаю делать тех диз + ревью тех диза. Тут я провожу больше всего времени. Схемы, связи, архитектура. Смотрю как это все встраивается. Если все ок, апрувнул далее просто запускаю воркфлоу по SDLC. Результат в 90% очень качественно выдается и нет проблем. 2. ИИ-фича/ии-агент Зачем спрашивают? Узнать твой опыт, какие подходы, паттерны знаешь. Тут есть много разных подходов, но самые частые, которые я использую это: - детермированная структура (json или другие) - агент-критик/судья - golden dataset Важно чтобы критика осуществлялась другим агентом/моделью. На селф ревью нейронка может легко ошибиться и выдать желаемое за действительное. Поэтому агента-критика создаю отдельно или вызываю другую модель. Golden dataset очень мощная практика на большом обьеме данных. Условно есть 10к записей где нужно по шаблону что-то поменять. Нейронка 100% налажает где-то. Поэтому я бью весь обьем на чанки по 1к, прогоняю весь процесс и отдельно делаю себе датасеты с результатами: идеально, приемлемо, брак. После этого уже отдельной проверкой сравниваю еще раз. Фактически сравниваю это с выдачей. По детермированной структуре все достаточно просто. Говорю какой нужен output , обязательное соблюдение таких и таких параметров и дальше уже сама проверка происходит гораздо легче. Вопрос про качество самый частый который у меня был и наверное самый важный. В моем курсе будет отдельный ролик про качество и полноценный развернутый ответ на этот вопрос.