QA Engineer (Mobile / AI-системы)

#vacancy #QA #Mobile #AI #NLP #LLM #RAG QA Engineer (Mobile / AI-системы) 📱 🤖 ID вакансии: QAm_AiP Ставка: обсуждается. Грейд: Middle+ / Senior. Загрузка: Full-time (полная занятость). Формат: Удалённо. Локация/Гражданство: РФ / РФ. Ищем QA-инженера для тестирования мобильных приложений с AI-функциональностью. Это редкое и интересное сочетание: классический мобильный QA + глубокая экспертиза в тестировании NLP-, LLM- и RAG-систем. Предстоит работать с недетерминированными ответами моделей, проверять качество генерации, поиска, ранжирования и fallback-сценариев. 🚀 Ключевые задачи: Тестирование мобильных приложений с интегрированными AI-функциями (NLP, LLM, RAG). Проверка качества генерации ответов, поиска, ранжирования и fallback-сценариев. Работа с недетерминированными ответами моделей — разработка подходов к оценке качества. Разработка и поддержка тестовой документации для AI-сценариев. Локализация дефектов и взаимодействие с командой разработки для их устранения. Участие в формировании критериев качества AI-ответов и метрик оценки. 🎯 Обязательные требования: Опыт: от 3 лет на аналогичной позиции (мобильный QA). AI-тестирование: подтвержденный опыт тестирования NLP-, LLM- и RAG-систем. Специфика AI: понимание особенностей недетерминированных ответов моделей и подходов к их оценке. Качество генерации: опыт проверки качества генерации, поиска, ранжирования и fallback-сценариев. 💡 Будет преимуществом (Nice to have): Опыт работы с инструментами оценки качества LLM (evals, LLM-as-a-judge). Знание основ промпт-инжиниринга и понимание работы RAG-пайплайнов. Опыт автоматизации мобильного тестирования (Appium, XCUITest, Espresso). Опыт работы с векторными базами данных (pgvector, Pinecone, Milvus). Понимание метрик оценки NLP-моделей (BLEU, ROUGE, BERTScore и др.). Опыт работы с API-тестированием AI-сервисов (Postman, REST-assured). 📲 Контакт для отклика: @hrwomenpro (При отклике, пожалуйста, сразу присылайте актуальное резюме, пишите ID вакансии: QAm_AiP)