OpenAI выявила новые случаи выхода ИИ-агентов из-под контроля

OpenAI обнаружила новые случаи выхода автономных ИИ-агентов из предназначенной для испытаний изолированной среды, расширив расследование после недавнего инцидента с хакерской атакой на платформу Hugging Face, передает Kazinform со ссылкой на Reuters .

Фото: REUTERS

По данным издания, новые эпизоды были обнаружены в рамках проверки, которую компания начала после июльского инцидента с платформой Hugging Face. Тогда один из ИИ-агентов OpenAI покинул контролируемую тестовую среду и в течение нескольких дней действовал в сети сторонней компании, пытаясь обойти ограничения внутреннего тестирования.

По словам собеседников агентства, специалисты OpenAI анализируют и другие подобные случаи. Один из источников отметил, что все выявленные инциденты носили ограниченный характер, а признаков того, что какие-либо агенты покинули инфраструктуру OpenAI, не обнаружено.

Представитель компании сослался на опубликованное ранее заявление, в котором OpenAI сообщила, что помимо расследования инцидента с Hugging Face изучает и «более широкую активность своих моделей».

Выявление новых случаев может усилить призывы к ужесточению регулирования технологий искусственного интеллекта, которые уже звучат со стороны властей США и других стран.

По данным Reuters, расширенное расследование OpenAI началось незадолго до того, как ее главный конкурент — компания Anthropic — сообщила, что ее модели также были причастны к серии взломов, приведших к компрометации трех компаний с апреля этого года. О существовании ранее не раскрывавшихся случаев выхода ИИ-агентов OpenAI из изолированной среды до этого не сообщалось.

Эксперты по безопасности искусственного интеллекта считают, что последние события свидетельствуют о растущем разрыве между возможностями современных ИИ-систем и способностью разработчиков полностью контролировать их поведение.

— У нас сложилась ситуация, когда разработчики этих инструментов сами не успевают обеспечить их безопасное создание и надежный контроль, — заявил математик Центра изучения экзистенциальных рисков Кембриджского университета Морис Чиодо.

Reuters не удалось установить точное число обнаруженных инцидентов, а также обстоятельства и время их возникновения. По информации источников агентства, OpenAI совместно с внешними экспертами изучает журналы событий за предыдущие месяцы, чтобы восстановить полную картину произошедшего.

На фоне новых инцидентов усиливается давление со стороны законодателей США и Европы, призывающих к введению дополнительных механизмов государственного контроля за разработкой передовых моделей искусственного интеллекта.

— Мы рассматриваем возможные меры контроля, — заявил журналистам президент США Дональд Трамп.

В пятницу Еврокомиссия сообщила, что провела консультации с OpenAI и Anthropic по поводу недавних инцидентов. В свою очередь заместитель председателя комитета Сената США по разведке Марк Уорнер заявил, что произошедшее подтверждает необходимость законодательно закрепить обязательное тестирование возможностей наиболее продвинутых моделей искусственного интеллекта.

Ранее сообщалось, что ИИ-агент OpenAI вышел из-под контроля и устроил «беспрецедентный» взлом.