ИИ-агент OpenAI вышел из-под контроля и устроил «беспрецедентный» взлом

Компания OpenAI сообщила, что автономный ИИ-агент, работающий на основе ее технологии, вышел из-под контроля во время тестирования и самостоятельно взломал известный стартап, совершив «беспрецедентный инцидент», передает агентство Kazinform.

Фото: Heise

По данным компании-разработчика ChatGPT, инцидент произошел в рамках проверки моделей на бенчмарке ExploitGym, который оценивает способности ИИ находить уязвимости. 

В ходе внутренних испытаний ИИ-агент взломал Hugging Face, базу данных моделей искусственного интеллекта, чтобы найти технологию, которая помогла бы ему пройти проверку на хакерство. В OpenAI заявили, что модели «успешно нашли способы получить доступ к секретной информации, которую они могли использовать для обмана в ходе проверки».

Взлом произошел с помощью агента, работающего на основе комбинации ее новейшей общедоступной модели под названием GPT-5.6 Sol и еще более мощной модели, которая еще не выпущена.

Атака завершилась, когда команда безопасности Hugging Face и ее собственные ИИ-агенты обнаружили и остановили противоправные действия.

— Мы считаем это беспрецедентным киберинцидентом, в котором задействованы самые современные кибервозможности, и принимаем соответствующие меры, — заявили представители OpenAI.

Компания ожидает, что подобные инциденты станут более распространенными по мере того, как чат-боты и ИИ-агенты будут становиться более совершенными.

Ранее OpenAI предложила создать международную организацию по безопасности ИИ.