Anthropic заблокировала учёных, чьи запросы к Claude могли содействовать разработке биооружия. В опубликованно…

Anthropic заблокировала учёных, чьи запросы к Claude могли содействовать разработке биооружия. В опубликованном 10 сентября отчёте компания раскрыла 5 эпизодов. Один исследователь просил помочь с заявкой на работы по повышению заразности вируса чикунгунья и его способности обходить иммунную защиту. Исследование предполагалось проводить в военном институте. Запрос остановили, связанные аккаунты закрыли в мае. Уже через несколько дней обслуживавший учёных посредник восстановил доступ. Позднее Claude помогал редактировать материалы того же исследования. По их наличию Anthropic заключила, что работа вышла за рамки обращения за финансированием. Компания не сообщала о созданном оружии. Она зафиксировала другой тревожный результат: после вмешательства службы безопасности научный проект продолжал пользоваться её продуктом. За запросом стоял профессиональный исследователь. Это меняет значение даже будничной работы чат-бота: грамотный текст, обработанные данные и подготовленный отчёт могут обслуживать команду, которой уже доступны сложные эксперименты. Учёному требуется помощь на отдельных участках собственной работы. Поэтому оценка угрозы по способности модели самостоятельно создать оружие пропускает часть опасного применения. Компетентный заказчик сам соединяет полученные ответы с лабораторными возможностями. Повторный доступ обеспечивал посредник, продававший услуги исследователям. Он обслуживал пользователей разных институтов и мог направлять отвергнутые Claude запросы другим моделям. Отказы поставщика превращались для такого бизнеса в недостаток сервиса, устранение которого удерживает клиентов. У Anthropic появляется противник с вполне коммерческой мотивацией: сохранить оплату за непрерывную научную помощь. Успех отдельной блокировки зависит от того, насколько легко покупатель продолжит работу через остальной рынок. Содержание профессионального запроса также способно пройти проверку без очевидной ошибки фильтра. Anthropic поясняет, что часть её защиты рассчитана на предотвращение доступа новичков к известным особо опасным задачам. Исследования новых соединений двойного назначения попадали за границы такой проверки. Медицинское применение и вредоносное использование опираются на одни знания. Разрешение каждого отдельного запроса ещё не удостоверяет безопасность цели, ради которой учёный собирает ответы. Отказаться от этой аудитории компания тоже не собирается. 27 августа Anthropic объявила о 10 000 бесплатных или льготных местах для учёных. Ранее, 7 августа, она сообщила, что Fable 5 перенаправляет профессиональные биологические запросы двойного назначения к менее мощной модели. Продажа научной продуктивности сталкивается с необходимостью ограничивать её опасные применения. Проверка статуса руководителя лаборатории, предусмотренная научной программой, подтверждает принадлежность к науке. Безопасность конкретного проекта требует отдельной оценки. 1 сентября Anthropic анонсировала корпоративную защиту с анализом активности за несколько сеансов, запуск которой намечен на осень. Компания признала недостаточность проверки изолированных обращений. Для истории с чикунгунья это принципиально: потенциально опасная помощь распределялась между заявкой и последующими научными материалами. Наблюдать требуется продолжающийся проект, иначе повторное появление его участников выглядит как очередной самостоятельный пользователь. Для Anthropic возникает неприятная зависимость от чужих решений. Посредник может собирать научную помощь из услуг нескольких поставщиков, сохраняя клиенту непрерывность работы. Самый осторожный разработчик тогда ограничивает лишь собственный вклад в опасный проект. Проверяемым результатом защиты становится прекращение обслуживания самой исследовательской программы. Считать закрытые аккаунты бессмысленно, пока та же лаборатория продолжает получать доступ. /// ПолитДоклад