AI/LLM Engineer в GenAI Evaluation

🟢 AI/LLM Engineer в GenAI Evaluation ‌ 💰 Оплата: не указана, опыт 3-6 лет ⏰ Занятость: полная, график 5/2 💵 Формат: удалённо, гибрид или офис ‌ 🛠 Что делать: -Выстраивать процессы разработки и валидации GenAI-решений на основе Evaluation-driven-development -Разрабатывать сервис для массового тестирования GenAI-решений: от запросов к LLM до сложных агентов -Создавать внутренние бенчмарки по HR-домену для оценки open-source LLM -Проектировать метрики качества и валидационные пайплайны, настраивать observability -Организовывать человеческую разметку и разрабатывать LLM-as-Judge -Готовить лучшие практики и инструкции для продуктовых команд ‌ ✅ Требования: -Уверенный Python, опыт production-ready ML/GenAI-сервисов -Опыт систем оценки качества ML/GenAI: offline-метрики, regression testing, human evaluation, A/B -Опыт валидационных пайплайнов и бенчмарков (датасеты, версии, воспроизводимость) -Опыт с DeepEval, LangFuse, MLflow, LangSmith и аналогами -Опыт с LLM API, RAG, агентами, LangChain/LangGraph -Опыт FastAPI, asyncio и векторных баз (Milvus, Qdrant, FAISS, pgvector) ‌ ⭐ Будет плюсом: -Знание Java -Опыт обучения и инференса open-source LLM ‌ 🔗 Откликнуться: https://hh.ru/vacancy/138480763 #вакансия #LLM #AI #удаленка