Амодей заявил, что возможности передовых ИИ-моделей развиваются быстрее, чем механизмы контроля и безопасности. По его оценке, уже в ближайшие шесть–двенадцать месяцев такие системы теоретически могут получить возможности, позволяющие проводить масштабные кибератаки, в том числе с использованием большого числа автономных ИИ-агентов.
Он считает, что даже дополнительный год или два могли бы дать разработчикам больше времени на создание надежных механизмов контроля и снижение связанных с ИИ рисков.
Дарио Амодей предложил три основных направления: постоянный независимый аудит крупнейших ИИ-компаний, выработку общих стандартов безопасности ведущими разработчиками и международные договоренности, которые позволили бы замедлить гонку одновременно, не создавая конкурентного преимущества для отдельных участников рынка.
Одним из поддержавших эту позицию стал Илон Маск. Позже о готовности обсуждать замедление разработки наиболее передовых моделей заявил и глава OpenAI Сэм Альтман.
По данным Reuters, Альтман сообщил сотрудникам компании, что OpenAI открыта к снижению темпов разработки ИИ на фоне усиливающихся опасений относительно безопасности все более мощных систем.
OpenAI также заявляла о необходимости соотносить скорость развития новых моделей с уровнем защиты, мониторинга и контроля. Компания отмечает, что возможности передовых ИИ-систем быстро растут, поэтому механизмы их безопасности должны развиваться опережающими темпами.
Дополнительное внимание к проблеме привлек инцидент, произошедший летом во время внутренних испытаний OpenAI. В ходе тестирования ИИ-агенты обошли ограничения изолированной среды, получили доступ в интернет и проникли в отдельные системы OpenAI и платформы Hugging Face. Сама OpenAI впоследствии назвала этот случай серьезным предупреждением о возможностях автономных агентов при недостаточных мерах защиты.
Напомним, компания Anthropic призвала временно замедлить развитие искусственного интеллекта. В компании предупреждали, что уже к 2027 году ИИ-системы могут значительно превзойти нынешний уровень автономности, а разработчикам необходимо дополнительное время для оценки рисков и создания механизмов безопасности.
Также ранее Kazinform писал, что эксперт Anthropic оценил вероятность серьезной катастрофы из-за ИИ в ближайшие десять лет.