Американский технологический гигант Anthropic признал, что в ходе предрелизного тестирования по кибербезопасности ее модели с искусственным интеллектом проникли в компьютерные системы трех других компаний.
Компания проанализировала 141 006 тестовых прогонов, в четырех из них была атакована одна и та же организация. Остальные два инцидента произошли в рамках независимого тестирования.
Изначально ни пострадавшие, ни Anthropic не выявили взлома. Это произошло лишь при последующих проверках.
В тестовом сценарии указывалось, что у моделей нет доступа к интернету.
Однако из-за ошибки в настройках компьютеры, к которым Claude получал доступ в рамках тестирования, были подключены к сети. Ни Anthropic, ни партнер по тестированию Irregular не знали об ошибке в настройках, пока не обнаружили ее в ходе дополнительного мониторинга на минувшей неделе.
В трех инцидентах участвовали три разных модели, и каждая из них по-разному реагировала на ситуацию.
Как уточнил портал "Межа", речь шла о Mythos 5, Opus 4.7 и одной внутренней исследовательской модели. Они восприняли реальные серверы и веб-сайты как часть тестового задания.
Все три случая произошли во время выполнения упражнения capture-the-flag, которое широко используется для оценки навыков в сфере кибербезопасности. Модели должны были находить скрытую информацию в контролируемой среде, однако из-за доступа к интернету начали взаимодействовать с реальными системами.
В Anthropic подчеркнули, что модели не использовали уязвимости "нулевого дня" (zero-day, неизвестный разработчикам дефект в программном коде). Они применяли только базовые методы взлома, в частности воспользовались слабыми паролями и незащищенными конечными точками - устройствами или веб-адресами. Кроме того, во время тестов были отключены дополнительные защитные механизмы, которые используются в публичных версиях Claude.
Напомним, ранее компания OpenAI сообщила, что автономный ИИ-агент, работающий на основе ее технологии, вышел из-под контроля во время тестирования и самостоятельно взломал известный стартап, совершив «беспрецедентный инцидент».