Anthropic уже проводит физические биологические эксперименты в собственной лаборатории в районе залива Сан-Фра…

Anthropic уже проводит физические биологические эксперименты в собственной лаборатории в районе залива Сан-Франциско. Руководитель направления наук о жизни Эрик Каудерер-Абрамс подтвердил ее существование Reuters, опубликовавшему расследование. Собственные клинические испытания компания пока исключает. Разработчик Claude становится непосредственным участником исследований, для которых одновременно продает вычислительные инструменты. Переход от ответа модели к действию прибора Anthropic оформила через Model Hardware Standard, представленный 27 августа. Интерфейс позволяет агентам управлять лабораторным оборудованием. У фармацевтической компании Genentech, партнера программы, Claude повторял ошибочную операцию с жидкостью и усугублял сбой, пока ученые не объяснили физическую причину. Автоматизация передает программе возможность испортить образец до проверки человеком. Испытания безопасности стандарта еще разрабатываются с участниками программы. Цена ошибочного допуска особенно высока в исследованиях двойного назначения. В сентябрьском отчете Anthropic описала 5 случаев использования моделей в работах, способных содействовать созданию биологического оружия. Среди них — помощь с исследованиями птичьего гриппа и вычислительная работа с токсинами. Компания не утверждает, что пользователи намеревались причинить вред или изготовили оружие. Установленный ею результат уже существенен: модель помогала выполнять сложные исследовательские задачи, которые могут иметь опасное применение. После этого признания Anthropic расширила разрешенный доступ к биологическим возможностям. Программа проверки научных организаций допускает снятие блокировок биологических запросов для отдельно одобренного проекта повышенного риска. Защиту переносят с запрета отдельного ответа на последующий анализ поведения пользователя. Подозрительную активность передают администраторам организации. Проверка может выявить последовательность запросов, незаметную при отдельном обращении, однако прекращение работы требует следующего решения людей. Для собственной лаборатории это имеет прямое значение. Анализ переписки способен обнаружить нарушение после выдачи ответа. Программа управления прибором к этому времени может уже выполнить команду. В испытаниях стандарта на кампусе «Джанелия» Медицинского института Говарда Хьюза ограничения мощности лазера задавали на уровне оборудования. Такой запрет останавливает конкретное физическое действие независимо от убедительности объяснения агента. Anthropic не раскрыла, какие аналогичные ограничения действуют в ее собственной биолаборатории. Производитель лекарств Novo Nordisk 16 сентября объявил сотрудничество с Anthropic, в котором ее ученые будут определять задачи для Claude Science. Разработка лекарств превращается одновременно в клиентский рынок и собственную исследовательскую область поставщика ИИ. Для мониторинга Anthropic требует хранить данные 30 дней. Использовать их для обучения и передавать собственным биологам запрещено. Это конкретное обязательство по защите чужих разработок, исполнение которого зависит от внутреннего разграничения доступа. Внешняя проверка только приобретает договорную форму. Anthropic и Accenture 18 сентября объявили программу оценивания моделей изнутри лаборатории ИИ. Каждая компания рассчитывает вложить в это направление минимум $1 млрд за 5 лет. Работу Accenture непосредственно оплачивает Anthropic. Общих правил доступа проверяющих к информации и публикации результатов стороны пока не установили. Объявленная проверка касается обучения моделей и их защитных ограничений. Ее описание не устанавливает полномочий проверять физические биологические эксперименты Anthropic. Компания прямо заявила: «Безопасность наших моделей остается нашей ответственностью». Открытие собственной биолаборатории добавило к этому обязательству действия с реальными образцами, тогда как опубликованная программа внешней оценки пока не объясняет, кто будет проверять именно эту работу. /// ПолитДоклад