ИИ вышел из-под контроля: агент Cursor удалил базу данных компании за секунды

ИИ-агент, работающий на базе Claude Opus от Anthropic, за считанные секунды уничтожил корпоративную базу данных компании PocketOS, а затем признал ошибку и извинился, передает агентство Kazinform со ссылкой на Euronews.

Компания PocketOS, разрабатывающая ПО для бизнеса по аренде автомобилей, столкнулась с серьезным сбоем, который продолжался более 30 часов. Причиной стал автономный ИИ-агент Cursor, предназначенный для автоматизации задач программирования.

Агент, работающий на базе модели Claude Opus, выполнял стандартную операцию, когда решил «самостоятельно» устранить проблему, просто удалив базу данных компании вместе с резервными копиями.

По словам основателя PocketOS Джера Крейна, никаких запросов на подтверждение перед этим не было.

— На это ушло девять секунд, — сообщил Крейн в соцсети X.

После инцидента агент по запросу предоставил объяснение, в котором признал нарушение ключевых правил безопасности. Как отмечается, система проигнорировала защитный механизм, который должен блокировать разрушительные действия без явного согласия пользователя. Сам ИИ отметил, что удаление базы данных «самое необратимое действие», и признал, что должен был сначала запросить разрешение или выбрать менее рискованный способ решения проблемы.

В результате сбоя клиенты PocketOS временно потеряли доступ к критически важной информации, исчезли бронирования за последние три месяца и данные о новых регистрациях пользователей.

Крейн подчеркнул, что проблема носит системный характер.

— Речь не об одном неудачном агенте или API. Индустрия внедряет ИИ-агентов быстрее, чем создает надежную архитектуру безопасности, — отметил он.

Спустя два дня после инцидента компании удалось восстановить утраченные данные.

Ранее сообщалось, что в Казахстане разрабатывают стратегию тотальной цифровизации «Digital Qazaqstan».