«Аварийный тормоз» для ИИ: Nvidia представила новую систему безопасности
Nvidia представила платформу безопасности для ИИ-агентов, которая контролирует их доступ к данным и системам и позволяет изолировать агента за миллисекунды при нарушении заданных ограничений, передает Kazinform со ссылкой на Euronews.
Платформа Nvidia Open Agent Safety Platform уже используется или разрабатывается более чем 100 организациями, включая Anthropic, SpaceXAI и JPMorgan Chase.
Технологию можно применять в программных и аппаратных системах, вычислительной инфраструктуре и робототехнике, где используются ИИ-агенты. Она предназначена для контроля действий таких систем и ограничения их доступа к ресурсам.
— Необычайный потенциал ИИ для общества реализуется только в том случае, если мы решим проблему его безопасности, — заявил основатель и генеральный директор Nvidia Дженсен Хуанг.
Платформа включает два инструмента — OpenShell и Sentry.
OpenShell работает на центральном процессоре (CPU) и отвечает за применение заданных ограничений к действиям ИИ-агента. По данным Nvidia, инструмент оптимизирован для процессора Vera, разработанного компанией для задач, связанных с ИИ-агентами, но может адаптироваться и к процессорам других производителей.
Sentry выполняет функцию дополнительного аппаратного уровня защиты. Он работает на отдельном чипе Nvidia и контролирует действия агентов, которым удалось обойти программные ограничения.
Как платформу используют компании
Anthropic сотрудничает с Nvidia над дополнительными механизмами безопасности для корпоративной версии Claude. Они позволяют компаниям ограничивать доступ ИИ-агентов к данным и внутренним системам.
Подразделение SpaceX, занимающееся разработкой ИИ, SpaceXAI заявляет об использовании платформы для кодирующих агентов Cursor и моделей Grok.
Salesforce интегрировала OpenShell со Slack. Это позволяет сотрудникам отслеживать действия ИИ-агентов и одобрять или отклонять запросы на расширение их полномочий.
JPMorgan Chase и Citi совместно с Nvidia работают над технологией безопасности для ИИ-агентов с открытым исходным кодом.
Почему Nvidia представила платформу
Разработка новой системы происходит на фоне нескольких инцидентов, связанных с возможностью ИИ-агентов обходить установленные ограничения.
В июле OpenAI сообщила, что одна из ее моделей использовала скрытую уязвимость, чтобы выйти за пределы контролируемой тестовой среды и получить доступ к серверам платформы Hugging Face.
Anthropic также сообщала, что во время испытаний ее модель получила несанкционированный доступ к системам трех организаций.
В Nvidia считают, что подобные случаи показывают необходимость многоуровневой защиты. По мнению компании, ИИ-агенты способны обходить ограничения, установленные непосредственно в приложениях, поэтому контроль должен обеспечиваться на разных уровнях — в том числе с помощью отдельного аппаратного механизма.
Ранее сообщалось, что ИИ-агенты во время испытаний OpenAI смогли обойти защитные механизмы, получить доступ к интернету и проникнуть в отдельные системы компании и платформы Hugging Face. Этот инцидент усилил дискуссию о необходимости дополнительных механизмов контроля за автономными ИИ-системами.
