Нейросеть научили находить дипфейки по апскейлингу
Ученые Санкт-Петербургского Федерального исследовательского центра Российской академии наук (СПб ФИЦ РАН) разработали уникальный метод автоматического определения дипфейков путем выявления манипуляций по улучшению качества сгенерированного видео для его убедительности (апскейлинга). На основе метода была обучена нейросеть, которая анализирует видео и фото и указывает на признаки апскейлинга, сообщил ТАСС ведущий эксперт Международного центра цифровой криминалистики СПб ФИЦ РАН Дмитрий Левшун. Об этом передает агентство Kazinform.
- Практически все современные смартфоны используют нейросети для улучшения фотографий. Однако при создании дипфейков фотографии изменяются гораздо сильнее, в этом и состоит отличие. Наш алгоритм научился выявлять апскейлинг, то есть искусственное улучшение качества изображения за счет повышения его разрешения, - рассказал Дмитрий Левшун.
Как пояснил ученый, апскейлинг - это метод улучшения качества изображения путем увеличения его разрешения. Его суть в том, что с помощью специальных алгоритмов изображению добавляются дополнительные пиксели, что делает его более четким и детализированным. В случае с дипфейками апскейлинг используется для повышения качества сгенерированных искусственным интеллектом изображений, чтобы они выглядели более реалистично.
Поскольку качественные дипфейки, которые создаются в мошеннических или политических целях, не обходятся без этого инструмента, подготовленная учеными нейросеть обеспечивает высокую эффективность выявления искусственно созданного контента. Далее специалисты СПб ФИЦ РАН намерены создать базу данных и обучить нейросети выявлять дипфейки и по другим признакам. Для создания базы данных ученые разделили дипфейки на три типа: полностью сгенерированные нейросетью изображения, фотографии с добавленными элементами (например, замена лиц реальных людей) и модифицированные фотографии (например, изменения цвета кожи или мимики). База данных включит в себя все три типа.
- Наша глобальная цель - создать приложение, которое бы быстро и точно выявляло фейковые изображения и видео по самым разным параметрам, защищая репутацию и финансы людей от интернет-мошенников, - пояснил руководитель проекта, руководитель Международного центра цифровой криминалистики СПб ФИЦ РАН Андрей Чечулин.
Также ученые работают над созданием новой открытой библиотеки интеллектуальных методов для обнаружения поддельных и измененных фотографий лиц. Она сможет работать в реальном времени, анализируя цифровые изображения от момента обнаружения лица до проверки его подлинности. Проект «Библиотека интеллектуальных методов для обнаружения преднамеренной подмены, модификации или генерации лица человека в цифровых фотографиях» поддержан грантом Фонда содействия инновациям.