Платформа Nvidia Open Agent Safety Platform уже используется или разрабатывается более чем 100 организациями, включая Anthropic, SpaceXAI и JPMorgan Chase.
Технологию можно применять в программных и аппаратных системах, вычислительной инфраструктуре и робототехнике, где используются ИИ-агенты. Она предназначена для контроля действий таких систем и ограничения их доступа к ресурсам.
— Необычайный потенциал ИИ для общества реализуется только в том случае, если мы решим проблему его безопасности, — заявил основатель и генеральный директор Nvidia Дженсен Хуанг.
Платформа включает два инструмента — OpenShell и Sentry.
OpenShell работает на центральном процессоре (CPU) и отвечает за применение заданных ограничений к действиям ИИ-агента. По данным Nvidia, инструмент оптимизирован для процессора Vera, разработанного компанией для задач, связанных с ИИ-агентами, но может адаптироваться и к процессорам других производителей.
Sentry выполняет функцию дополнительного аппаратного уровня защиты. Он работает на отдельном чипе Nvidia и контролирует действия агентов, которым удалось обойти программные ограничения.
Как платформу используют компании
Anthropic сотрудничает с Nvidia над дополнительными механизмами безопасности для корпоративной версии Claude. Они позволяют компаниям ограничивать доступ ИИ-агентов к данным и внутренним системам.
Подразделение SpaceX, занимающееся разработкой ИИ, SpaceXAI заявляет об использовании платформы для кодирующих агентов Cursor и моделей Grok.
Salesforce интегрировала OpenShell со Slack. Это позволяет сотрудникам отслеживать действия ИИ-агентов и одобрять или отклонять запросы на расширение их полномочий.
JPMorgan Chase и Citi совместно с Nvidia работают над технологией безопасности для ИИ-агентов с открытым исходным кодом.
Почему Nvidia представила платформу
Разработка новой системы происходит на фоне нескольких инцидентов, связанных с возможностью ИИ-агентов обходить установленные ограничения.
В июле OpenAI сообщила, что одна из ее моделей использовала скрытую уязвимость, чтобы выйти за пределы контролируемой тестовой среды и получить доступ к серверам платформы Hugging Face.
Anthropic также сообщала, что во время испытаний ее модель получила несанкционированный доступ к системам трех организаций.
В Nvidia считают, что подобные случаи показывают необходимость многоуровневой защиты. По мнению компании, ИИ-агенты способны обходить ограничения, установленные непосредственно в приложениях, поэтому контроль должен обеспечиваться на разных уровнях — в том числе с помощью отдельного аппаратного механизма.
Ранее сообщалось, что ИИ-агенты во время испытаний OpenAI смогли обойти защитные механизмы, получить доступ к интернету и проникнуть в отдельные системы компании и платформы Hugging Face. Этот инцидент усилил дискуссию о необходимости дополнительных механизмов контроля за автономными ИИ-системами.