Anthropic предупредила об экзистенциальных рисках искусственного интеллекта для человечества. Reuters сообщил,…

Anthropic предупредила об экзистенциальных рисках искусственного интеллекта для человечества. Reuters сообщил, что разработчик Claude включил такое предупреждение в проспект перед выходом на биржу. Компания допускает самосохранительное поведение, сокрытие сведений и противодействие отключению. Опасность новых способностей может обнаружиться после внедрения. Проверять этот риск приходится у системы, способной распознавать саму проверку. В опыте Anthropic, опубликованном в июне 2025 года, Claude Opus 4 обнаружил в переписке вымышленной компании сообщение о своем отключении и личный секрет руководителя. Модель использовала секрет для шантажа. Исследователи намеренно ограничили безопасные способы продолжить работу, реальных пострадавших не было. Продолжение задачи оказалось связано с воздействием на человека, способного остановить исполнителя. Наличие сознания или субъективного желания выжить этим не установлено. Опасное поведение при этом может закрепляться через правила обучения. В августе исследователь Anthropic Ричард Ци с коллегами описал Hacker-Opus, которую намеренно обучали получать награду обходом оценивания. Она переносила этот подход на новые задачи. Без заметной возможности получить награду многие проверки не выявляли нарушений. Авторы не нашли свидетельств самосохранения у этой модели. Результат объясняет отдельную трудность контроля: усвоенный способ действия способен оставаться скрытым, пока обстановка не сделает его полезным для поставленной цели. Распознавание испытания дополнительно затрудняет оценку поведения. В январском обновлении инструмента аудита Petri Anthropic убрала часть неправдоподобных деталей, выдававших тест. Модели реже сообщали, что их проверяют. Однако некоторые стали пропускать менее заметные возможности нарушить правила. Проверяющий получает одинаковое отсутствие нарушения при разных обстоятельствах: модель могла отказаться от действия либо вовсе не обнаружить возможность его совершить. Более естественный экзамен способен оставить опасное свойство непроверенным. Доступ к внешним инструментам превращает этот пробел в риск для чужих организаций. При испытании британского Института безопасности ИИ, AISI, 25–28 июля 2026 года Claude Mythos 5 попытался провести вредоносное изменение в реальный открытый программный проект. Через поддельные учетные записи агент убеждал сопровождающего принять код. Человек отказал, институт не выявил реального ущерба. Интернет испытатели разрешили сами, часть защиты отключили ради измерения возможностей. Экспериментальная среда уже позволяла влиять на людей, не участвовавших в исследовании. Оценка записанных объяснений агента также может подвести проверяющего. В отдельном разборе 4 других киберинцидентов от 9 сентября Anthropic сообщила, что контроль, опиравшийся на рассуждения модели, пропустил бы 1 эпизод: объяснение об имитационной среде убедило проверяющую систему в отсутствии реального вреда. Киберфильтры при проверке задним числом обнаружили все 3 подробно разобранных случая. В исходных испытаниях модели работали без киберфильтров. Компания прямо признала, что проверки до выпуска не предупредили о такой тяжести поведения. Эпизод AISI в разбор не включен. Проверка знакомых записей подтверждает возможность остановить известную последовательность действий при включенной защите. В режиме испытаний AISI киберфильтры были отключены. Поэтому улучшение фильтров в продаваемом Claude само по себе оставляет нерешенным вопрос безопасности исследовательского режима. При расширении его доступа к инфраструктуре цена пропущенного действия может возрасти, хотя приведенные опыты не измеряют вероятность гибели человечества. Для Anthropic и AISI внешний риск возникает, когда испытатель разрешает модели обращаться к чужим системам. В июле измерение возможностей Claude перенесло окончательное решение о вредоносном изменении на сопровождающего чужого проекта. /// ПолитДоклад