Apple в сотрудничестве с Университетом Британской Колумбии разработала нейросеть NeuMan, которая может скопировать человека из видео и сгенерировать его копию, способную двигаться как угодно.
Нейросеть NeuMan обучается на коротких видео, затем может генерировать дипфейк. Хотя, конечно, главная цель разработки — не поддельные постановочные видео, чтобы обманывать подписчиков блога, читателей новостей или политиков (как это часто случается). Все же помнят историю, как перед мэрами Берлина и Мадрида в Zoom выступал тролль с дипфейком вместо Кличко?
Разработка направлена на развитие технологии дополненной реальности.
«Фотореалистичный рендеринг и размещение людей важны для создания возможностей дополненной реальности. Мы предлагаем новую структуру для реконструкции человека и сцены, которая может быть воспроизведена с новыми человеческими позами и взглядами всего из одного видео в окружающей среде», — объясняют в Apple.
Чтобы сгенерировать новое видео, нужно обучить две модели NeRF: модель NeRF человека и модель NeRF сцены. То есть снять два отдельных видео с человеком и фоном, а ИИ их скопирует. Для обучения моделей NeRF используются методы оценки грубой геометрии человека и сцены, по этим оценкам создается каноническое пространство, не зависящее от позы, в которой мы обучаем модель человека. Человек в сгенерированном видео может не просто ходить, а танцевать, крутиться, кувыркаться (даже если он этого не делал на исходном видео).
10-секундного видеоклипа высокого разрешения достаточно для обучения ИИ. Вот, что получается в результате:
Протестировать новинку может каждый желающий — Apple выложила исходный код нейросети на GitHub.
Сегодня мы поговорим о том, как выбрать лучшие курсы Power BI в Украине, особенно для…
В 2023 году во всех крупнейших регионах конкуренция за вакансию выросла на 5–12%. Не исключением…
Unicorn Hunter/Talent Manager Лина Калиш создала бесплатный трекер поиска работы в Notion, систематизирующий все этапы…
Edtech-стартап Mate academy принял решение отправить своих работников в десятидневный отпуск – с 25 декабря…
Служба безопасности Украины задержала в Киеве 46-летнего программиста, который за деньги устанавливал шпионские программы и…
IT-специалист Джордан Катлер создал и выложил на Github подборку разнообразных ресурсов, которые помогут достичь уровня…