Web Crawler Engineer с релокацией в США или на удалёнку.

Web Crawler Engineer с релокацией в США или на удалёнку. Ищем для амбициозного series B стартапа из Сан-Франциско 🧩 Пару слов о компании/проекте: Наш клиент строит поисковую систему нового поколения для AI/LLM, регулярно запускает пакетные задачи на кластерах >1000 машин и разрабатывает продакшен-сервисы для обработки терабайтов текста. — Полностью собственная разработка — от поискового движка до векторной БД — Специализированная архитектура для генерации структурированных ответов для LLM — Система проектируется для AI-first взаимодействий, а не для традиционного "human browsing" 🌎 Почему это особенный поиск: — Нужен человек, который уже строил или оптимизировал web crawler на масштабе поисковых систем (Yandex, Google, Bing и др.) — Имеет опыт с любым высокопроизводительным языком (Rust/C++ и др) — Важен свободный английский — Плюсом будет опыт с большими данными и ML/LLM, а также опыт в early-stage/hyper-growth стартапах 🔧 Примеры проектов/задач: — Построение распределенного краулера для обработки 100M+ страниц/день — Сложные антибот-системы и обход защиты — Динамический контент и JS-рендеринг — Разработка алгоритмов интеллектуального планирования обхода для распределенного краулера 🛠 Tech Stack: Rust, AWS, Kubernetes, Python(ML) 📍 Формат работы: удалённо ИЛИ релокация в Сан-Франциско — на выбор 💎 Условия: $150k-300k + эквити (обсуждаемо) Мы понимаем, что таких специалистов немного, поэтому: 🙏 Если у вас был опыт в поисковом краулинге — напишите мне: julia@new.hr 🤝 Или порекомендуйте коллегу — буду очень благодарна за интро! Больше вакансий от NEWHR : @newhrvacancies