Дипфейки выходят на новый уровень: Apple создала новую нейросеть и выложила исходный код

Apple в сотрудничестве с Университетом Британской Колумбии разработала нейросеть NeuMan, которая может скопировать человека из видео и сгенерировать его копию, способную двигаться как угодно.

Подробности

Нейросеть NeuMan обучается на коротких видео, затем может генерировать дипфейк. Хотя, конечно, главная цель разработки — не поддельные постановочные видео, чтобы обманывать подписчиков блога, читателей новостей или политиков (как это часто случается). Все же помнят историю, как перед мэрами Берлина и Мадрида в Zoom выступал тролль с дипфейком вместо Кличко? 

Разработка направлена на развитие технологии дополненной реальности.

«Фотореалистичный рендеринг и размещение людей важны для создания возможностей дополненной реальности. Мы предлагаем новую структуру для реконструкции человека и сцены, которая может быть воспроизведена с новыми человеческими позами и взглядами всего из одного видео в окружающей среде», — объясняют в Apple.

Чтобы сгенерировать новое видео, нужно обучить две модели NeRF: модель NeRF человека и модель NeRF сцены. То есть снять два отдельных видео с человеком и фоном, а ИИ их скопирует. Для обучения моделей NeRF используются методы оценки грубой геометрии человека и сцены, по этим оценкам создается каноническое пространство, не зависящее от позы, в которой мы обучаем модель человека. Человек в сгенерированном видео может не просто ходить, а танцевать, крутиться, кувыркаться (даже если он этого не делал на исходном видео). 

10-секундного видеоклипа высокого разрешения достаточно для обучения ИИ. Вот, что получается в результате:

Протестировать новинку может каждый желающий — Apple выложила исходный код нейросети на GitHub.