Anthropic признала в документах для выхода на биржу, что её передовые модели могут помогать разработке химичес…

Anthropic признала в документах для выхода на биржу, что её передовые модели могут помогать разработке химического и биологического оружия. Заявление подано американскому биржевому регулятору 26 октября. Associated Press приводит из проспекта предупреждение о катастрофических и даже экзистенциальных угрозах при недостаточном контроле над ИИ. Опасность выходит далеко за круг покупателей продукта. У этой угрозы вполне земной исполнитель. В августовском отчёте Anthropic рассматривает возможность применения моделей людьми и небольшими группами с ограниченными ресурсами. Масштаб риска остаётся неопределённым, компания принимает защитные меры. Если ИИ позволит преодолеть недостаток специальных знаний, преступный замысел получит поддержку, доступ к которой прежде был существенно труднее. Машине в таком сценарии достаточно послушания человеку. Химико-биологическая опасность возникает задолго до предполагаемого бунта искусственного разума. Защита от опасных ответов требует ещё и дисциплины внутри самой лаборатории. Anthropic сообщила, что ошибка доступа к внутренним моделям без блокирующих фильтров сохранялась почти год. По её данным, клиентов она не затронула, свидетельств химико-биологических злоупотреблений не нашли, нарушение устранили. После обнаружения компания повысила свою оценку риска, сохранив её низкой. Испытанный фильтр защищает лишь те обращения, которые действительно через него проходят. Проверка способностей модели должна сопровождаться проверкой того, как сотрудники и подрядчики на самом деле с ней работают. Независимая организация SecureBio, изучив февральский отчёт о Claude Opus 4.6, в целом согласилась с низкими оценками риска, отметив возможность обхода защиты. Работа потребовала более 70 уточняющих вопросов. Эксперты отказались распространять заключение на новые семейства моделей с иными возможностями и ограничениями. Благоприятное заключение относится к испытанной версии. Следующая может оказаться способнее, и прежних доказательств надёжности её защиты уже будет недостаточно. В октябре Anthropic предоставила 6 сотрудникам оценочной организации METR рабочие возможности, близкие к возможностям своих внутренних команд. METR вправе публиковать выводы без одобрения разработчика, с оговорёнными ограничениями на конфиденциальные сведения. Такой доступ позволяет сопоставить обещанную защиту с её повседневным исполнением. Политика ответственного масштабирования Anthropic оставляет окончательные решения о достаточности оценки риска и дальнейшей разработке или использовании модели генеральному директору и сотруднику, отвечающему за исполнение этой политики. При особом обосновании, опирающемся на сравнение с рисками конкурентов, требуется одобрение совета директоров и траста долгосрочного общественного блага. Внешним экспертам документ отводит оценочную роль. По этим внутренним правилам приемлемость химико-биологического риска определяет руководство. Политика предусматривает передачу отчёта внешним рецензентам в течение 1 недели после его предоставления совету и трасту, затем ожидает публичных замечаний за 30 дней. Завершать внешнюю экспертизу до внутреннего рассмотрения компания пока обозначает как цель. Такая последовательность допускает, что независимое возражение поступит уже после принятого решения. Для опасного знания опоздание особенно существенно: обновление фильтра закроет следующие обращения, но не отзовёт ответ, который уже помог злоумышленнику. Признание угрозы оружия массового поражения меняет смысл корпоративного разрешения на выпуск. Руководство Anthropic решает, достаточно ли предпринятых мер, а последствия ошибки способны затронуть людей, не заключавших с компанией никаких договоров. Пока независимая проверка может следовать за внутренним решением, общество рискует получить обоснованный отчёт о допущенной опасности позже, чем пользователь — сам опасный инструмент. /// ПолитДоклад