Обмани меня: как работают дипфейки и инструкция, как сделать свой

С помощью дипфейков уже сейчас можно не только отправить Бреда Питта на пенсию или «воскресить» Сида Вишеза, но и повлиять на безопасность целых государств.

Разбираемся в рисках технологии замены лиц в видео и объясняем, как она работает.

Что такое deepfake

Дипфейк (deepfake) — это вид манипуляции медиа-контентом, при котором используются нейронные сети и алгоритмы машинного обучения для создания фальшивого фото-, видео- и аудиоконтента, а также текстов.

С помощью дипфейков можно создавать подделки, трудно отличимые от настоящих. Поэтому технология дипфейков может быть использована как для развлечения и творчества, так и для манипуляции и обмана.

Так как с помощью deepfake можно создать видео, на котором политик или знаменитость делает что-то, чего она на самом деле не делала, дипфейки могут использоваться для создания фейковых новостей, поддельных доказательств в суде, шантажа и других преступных действий.

Именно поэтому и в связи с возросшим интересом к дипфейкам в последние годы, возникают новые технологии и инструменты для их обнаружения и борьбы с ними.

История появления

Корни идеи создания синтезированных человеческих изображений уходят в 90-е. В 1997 году появилась технология Video Rewrite, позволявшая моделировать артикуляцию «лица», которая совпадала с аудиодорожкой. Позже в том или ином виде подобные технологии применялись в высокобюджетных фильмах, например, первом «Аватаре» (2009).

Волна развития технологии дипфейков начала подниматься с распространением нейросетей в начале 2010-х годов. Тогда вычислительные мощности были  недостаточными для производства реалистичных дипфейков, но уже в 2014 году ученые Оксфордского университета выпустили статью, где описали алгоритм создания искусственных изображений человеческих лиц. А в 2016 появились первые дипфейк-видео на YouTube, созданные с помощью глубинных нейронных сетей.

В том же году исследователи из Стэнфордского университета опубликовали статью, в которой описали новый метод создания deepfake видео-портретов людей.

Но наибольшую популярность deepfake получили в 2017 году, когда появилось приложение FaceApp. Оно позволяло пользователям изменять свое лицо и создавать реалистичные фотографии с помощью нейронных сетей.

В том же году случился еще один ключевой поворот на пути развития технологии: пользователь Reddit под ником Deepfake создал серию порно-роликов, где с помощью нейросети заменил лица актрис фильмов для взрослых на голливудских знаменитостей, включая «чудо-женщину» Галь Гадот.

Руководство Reddit, Twitter и даже PornHub запретило публикацию дипфейк-порнографии на своих ресурсах, но ролики все равно успели завируситься, а все технологии синтеза изображений с помощью ИИ получили общее название deepfake в честь человека, первым опубликовавшего порно-фейки в сети.

Дальше программисты продолжили развивать и обучать нейронные сети создавать гипер-реалистичные видео и фотографии, и дипфейки стали проникать в нашу жизнь все глубже.

Поэтому, несмотря на возможность создания удивительно реалистичных образов, deepfake вызвало озабоченность среди общественности из-за потенциального использования технологии для мошенничества и манипуляции информацией.

Чтобы обратить внимание на опасность технологии, британский телеканал Channel 4 в 2020 году выпустил поддельное поздравление ныне покойной королевы Елизаветы II, где монаршая особа была создана с помощью дипфейка.

Тогда же стартовал и проект Microsoft Video Authenticator, который позволяет определить, использовался ли при создании видео дипфейк.

Принцип работы дипфейка

Суть работы deepfake сводится к использованию глубинных нейронных сетей. Компьютер учат находить закономерности и шаблоны в изображениях или звуке. Для этого модель должна обработать большое количество данных: например, видеозаписей с человеком, которого нужно имитировать.

Когда модель глубинного обучения обучена достаточно хорошо, она может создавать новые изображения, видео или звуки, которые могут быть очень реалистичными. Например, в случае фейковых видео, модель может создать ролик, который кажется настоящим, но на самом деле является фальшивым.

Универсальной сети для создания deepfake не существует. Вместо этого используются разные алгоритмы и технологии, например, генеративно-состязательные сети (GAN). 

GAN — это две нейронные сети, которые работают совместно, чтобы создать реалистичное изображение или видео:

1. первая сеть (генератор) создает фальшивое изображение;
2. вторая сеть (дискриминатор) — определяет, насколько реалистично это изображение.
Захоплюючий курс від laba: HR-менеджер.
Розвивайте персонал і підтримуйте бізнес.
Вивчити курс

Если дискриминатор определит изображение как недостаточно реалистичное, снова запустится работа генератора, который постарается его улучшить — и так по кругу, пока не будет достигнута убедительная картинка или аудио:

Области применения deepfake

Deepfake — широко применимая технология, причем не только в положительных, но и отрицательных областях.

Сначала рассмотрим положительные области применения deepfake. Они включают:

1. Кино и развлечения. Deepfake можно использовать для создания спецэффектов в фильмах и телешоу. Это позволяет «снимать» убедительные сцены с бюджетом меньше, чем при использовании традиционных методов. Кроме того, появляется возможность «воскрешать» умерших знаменитостей.
2. Медицина. Дипфейки успешно применяют для создания трехмерных моделей тканей и органов. Это помогает точнее диагностировать заболевания и планировать операции.
3. Образование. Технология может помочь в образовательных целях, если использовать ее для создания интерактивных уроков и лекций. Например, сделать дипфейк видео для урока истории, где о Наполеоне расскажет сам Наполеон.

Пример дипфейка. Николас Кейдж в «Матрице»

К сожалению, deepfake можно использовать и для не очень хороших целей. Например:

1. Мошенничество. Deepfake может применяться для создания поддельных документов.
2. Политические манипуляции. Дипфейки можно использовать для производства фальшивых видео, которые могут повлиять на результаты выборов. С их помощью легко испортить репутацию человека и хуже всего то, что, даже когда обман раскроется, слухи в обществе останутся.
3. Кибербуллинг. Дипфейк может использоваться для создания фальшивых видео или фотографий, которые могут быть задействованы для запугивания или унижения людей. Например, с вами свяжется давно умерший человек.

Именно из-за отрицательных областей применения к deepfake относятся не только как к технологии будушего, но и потенциально опасному инструменту.

Перспективы развития технологии

Тем не менее, в 2023 технология deepfake продолжает развиваться и улучшаться, что открывает новые возможности. Самые реалистичные перспективы развития технологии включают:

1. Улучшение качества. С появлением новых алгоритмов и улучшением технологии глубинного обучения, качество deepfake будет продолжать улучшаться, что позволит создавать еще более убедительные фейковые видео, фотографии и аудиозаписи.
2. Более широкое применение. Как указано выше, deepfake уже используется во многих областях, включая развлечения и медицину. Ожидается, что использование технологии будет только  расширяться в будущем. Например, актеры в фильмах смогут «заговорить» на разных языках, что позволит отказаться от дубляжа.
3. Развитие защитных технологий. Это скорее следствие развития deepfake. Чем эффективнее будет становиться технология, тем  критичнее будет необходимость развивать технологий защиты от фальшивых видео и фотографий. Многие компании уже работают над технологиями распознавания deepfake и предотвращения их распространения.

Тем не менее, пока тяжело судить, куда именно приведут игры с искусственно созданными видео, потому что технология еще молодая, но стремительно развивается.

Программы для deepfake

Если хотите еще глубже разобраться в том, как работают дипфейки, лучший способ — попробовать создать его самому. Для этого не нужны глубокие знания нейронных сетей, потому что уже есть много приложений, которые позволяют создавать deepfake-контент.

Вот некоторые из них:

1. FaceApp. Одно из первых и самых популярных приложений для создания дипфейк-видео. Есть версии для Android и iOS. Из минусов — бесплатная версия накладывает вотермарку (водяной знак) на видео.
2. Reface. Приложение для новичков, которое позволяет легко заменить лицо в видео. Из преимуществ — возможность замены нескольких лиц одновременно и довольно реалистичный результат. Недостаток — нельзя создавать клипы больше 1 минуты.
3. DeepFaceLab. Бесплатная и опенсорсная десктопная программа для создания deepfake-контента. Она основана на технологии глубинного обучения и предлагает много функций, включая выбор источников, обучение модели и создание фейковых видео и фотографий. Инструмент достаточно мощный, но требует времени как на изучение программы, так и на создание роликов.
4. Faceswap. Еще одна десктопная программа с открытым кодом. Обучение нейросети проводится вручную, может занимать несколько дней и требует определенных знаний и навыков. Зато на выходе пользователь получает качественный контент любой длины.
5. Wombo. Мобильное приложение для обработки селфи, в котором можно создавать видеоклипы на основе своих фото. Профессиональный дипфейк тут не создашь, но для соцсетей можно сделать веселое видео.
6. Avatarify. Мобильное приложение для создания анимированных deepfake-изображений и видео. Можно, например, «заставить» вашу бабушку петь песни Билли Айлиш. Также может использоваться только для создания развлекательных изображений и видео в соцсети, а в бесплатной версии видео будут помечены вотермаркой.

Всего существует несколько десятков нейросетей, позволяющих создавать фейки разной степени достоверности и качества на любой вкус и запросы. Более того: на рынок deepfake уже вышли такие крупные компании, как Microsoft и IBM, так что ждем вскоре новые мощные инструменты.

Как сделать дипфейк? Инструкция

Итак, приступим к созданию собственного дипфейка.

Внимание! Highload настоятельно рекомендует использовать эту инструкцию только для развлечения или обучения.

Как было сказано выше, инструментов для создания дипфейков существует очень много, так что мы дадим общую инструкцию по созданию фейкового контента. А для каждого отдельного приложения советуем изучить дополнительные материалы:

1. Соберите исходные материалы. Для создания deepfake вам нужны фотографии или видео, которые вы хотите использовать для создания фейкового контента. Чем больше — тем лучше. Некоторые приложения требуют фото лица с разных сторон и не позволяют загружать медиафайлы — только фотографировать.
2. Выберите приложение. Подбирайте программы под свои потребности и исходите из того, какой продукт вы хотите получить на выходе. Для TikTok-ролика будет достаточно простых мобильных приложений типа Reface, а для серьезного фильма понадобится мощное десктопное решение.
3. Обучите модель. Преступайте к непосредственному обучению нейросети. Суть в том, чтобы подавать на вход разные фото и видео в большом количестве, пока нейросеть не начнет показывать нужный результат. Иногда для этого нужно менять исходные изображения, иногда — менять параметры самой сети. Также этот процес может занять много времени, и вам может понадобиться мощное устройство для обработки данных.
4. Создайте deepfake. После обучения нейросети вы можете начать создавать контент. Вам нужно будет загрузить исходные материалы и выбрать на них лица, которые вы хотите заменить. Затем программа сделает все за вас.
5. Улучшите качество. После создания deepfake-контента вы можете улучшить его качество, используя дополнительные функции текущей программы, такие как цветокоррекция и фильтры. Также для редактирования готового видео или фото вы можете использовать сторонние приложения как Photoshop.

Заключение

Дипфейки — это новый и быстро развивающийся вид технологий, который может иметь как позитивные, так и негативные последствия.

• С одной стороны, дипфейки могут быть использованы для создания реалистичных спецэффектов в киноиндустрии, в медицине и в образовательных целях. Они также могут быть полезными в сфере безопасности, например, для обучения специалистов распознаванию поддельных документов и изображений.
• С другой стороны, дипфейки могут быть использованы для создания фальшивых новостей и обмана людей. Это может иметь серьезные последствия для общества, включая дезинформацию, повышение уровня паранойи и доверия к технологиям, а также угрозу демократическим процессам.

Чтобы не стать жертвой дипфейков, нужно как минимум понимать, как они работают и развивать в себе критическое мышление. В серьезных ситуациях можно использовать ПО для распознавание фейковых видео, например, Microsoft Video Authenticator.

Но в том, чтобы попробовать создавать поддельные видео самостоятельно для развлечения, нет ничего плохого. Если вы новичок, стартуйте с мобильных приложений вроде FaceApp или Wombo.