Компания PocketOS, разрабатывающая ПО для бизнеса по аренде автомобилей, столкнулась с серьезным сбоем, который продолжался более 30 часов. Причиной стал автономный ИИ-агент Cursor, предназначенный для автоматизации задач программирования.
Агент, работающий на базе модели Claude Opus, выполнял стандартную операцию, когда решил «самостоятельно» устранить проблему, просто удалив базу данных компании вместе с резервными копиями.
По словам основателя PocketOS Джера Крейна, никаких запросов на подтверждение перед этим не было.
— На это ушло девять секунд, — сообщил Крейн в соцсети X.
После инцидента агент по запросу предоставил объяснение, в котором признал нарушение ключевых правил безопасности. Как отмечается, система проигнорировала защитный механизм, который должен блокировать разрушительные действия без явного согласия пользователя. Сам ИИ отметил, что удаление базы данных «самое необратимое действие», и признал, что должен был сначала запросить разрешение или выбрать менее рискованный способ решения проблемы.
В результате сбоя клиенты PocketOS временно потеряли доступ к критически важной информации, исчезли бронирования за последние три месяца и данные о новых регистрациях пользователей.
Крейн подчеркнул, что проблема носит системный характер.
— Речь не об одном неудачном агенте или API. Индустрия внедряет ИИ-агентов быстрее, чем создает надежную архитектуру безопасности, — отметил он.
Спустя два дня после инцидента компании удалось восстановить утраченные данные.
Ранее сообщалось, что в Казахстане разрабатывают стратегию тотальной цифровизации «Digital Qazaqstan».