Middle QA Engineer / AI & LLM

#алматы #qa #ai 🚀 Middle QA Engineer / AI & LLM DBF ищет Middle QA Engineer в команду на AI-проект. Мы развиваем решения на базе LLM и RAG и ищем QA-инженера, который поможет проверять качество и стабильность AI-продукта — от API и backend-логики до качества ответов нейросети. 💻 О вакансии Должность: Middle QA Engineer Направление: AI / LLM / RAG Опыт: от 3 лет в ручном тестировании Формат: удалённая работа Занятость: full-time Тип оформления: [ГПХ / ИП] Зарплата: обсуждается индивидуально Часовой пояс: GMT + 3 🔍 Чем предстоит заниматься — проводить функциональное, регрессионное, smoke, UAT и негативное тестирование; — тестировать API через Postman / Insomnia; — писать тест-кейсы, чек-листы и баг-репорты в Jira / Zephyr; — работать с SQL, логами и трейсингом; — тестировать AI-чатов и multi-turn сценарии; — проверять edge cases, adversarial / jailbreak-промпты и safety-фильтры; — оценивать качество ответов LLM: точность, релевантность, полноту и тональность; — тестировать RAG-пайплайны и корректность источников в ответах; — использовать AI-инструменты для автоматизации рутинных QA-задач и написания небольших скриптов. 🧠 Что ожидаем QA-база: — от 3 лет опыта в ручном тестировании; — понимание основных видов тестирования; — Jira / Zephyr; — SDLC / STLC, Agile / Scrum; — Postman / Insomnia; — базовый SQL; — работа с логами и трейсингом. AI / LLM: — понимание принципов работы LLM: токены, temperature, top-p, context window; — понимание prompt engineering; — знание типичных проблем LLM: hallucinations, потеря контекста, nondeterminism, sensitivity к формулировкам; — опыт или понимание тестирования multi-turn диалогов, edge cases и jailbreak-промптов; — понимание оценки качества AI-ответов; — базовое понимание RAG: чанкинг, эмбеддинги, vector search, reranking, retrieval; — умение проверять корректность источников и цитирования в RAG-ответах. Технически: — практический опыт с Claude Code или аналогичными AI coding CLI; — базовое понимание ООП; — способность читать код автотестов и писать простые вспомогательные скрипты на Python / Java / C#. 🤖 Почему может быть интересно Это возможность работать не только с классическим QA, но и с современными AI-продуктами, где качество нельзя проверить исключительно по принципу «кнопка работает / кнопка не работает». Здесь предстоит разбираться в том, почему AI дал конкретный ответ, откуда он взял информацию, насколько она корректна и как система ведёт себя в нестандартных сценариях. 📩 @dbf_hrbot