Производитель графических процессоров Nvidia показал новую систему искусственного интеллекта. Алгоритм называется Vid2Vid Cameo AI и преследует главной целью сократить нагрузку на каналы связи, а также упростить рабочие процессы, связанные с видеосозвонами.
Модель, разработанная на системах Nvidia DGX, была обучена с использованием набора данных из 180 тыс. высококачественных видео с так называемой «говорящей головой». Нейросеть научилась определять 20 ключевых точек, которые можно использовать для моделирования движения лица в режиме реального времени. Система идентифицирует любые изменения, включая движения глаз, рта и носа.
Перед видеовстречей пользователь выбирает изображение, которое может быть фотографией кого-либо или анимированным аватаром. Во время встречи модель AI фиксирует движения человека в реальном времени и применяет их к ранее загруженному изображению. Например, загрузив фотографию в официальной одежде, пользователь с растрепанными волосами или пижаме будет виден всем в образе из изображения.
Алгоритм использует обычную веб-камеру для фиксации мимики и эмоций пользователя, а потом переносит данные в Zoom или Skype. По словам представителей компании, это может справиться с прерывистыми видеопотоками с низким разрешением, а трансляция будет проходить с минимальными задержками даже при плохом интернете. Вместо отправки больших видеопотоков, между участниками передаются только аудиоданные и информация о мимике, затем данные синтезируются в видео на стороне получателя.
В демонстрационном ролике показаны ключевые особенности нейронки, включая перенаправление лица, анимированные аватары и сжатие данных.
Согласно заявлению представителей компании, возможности Vid2Vid Cameo скоро будут включены в Nvidia Maxine SDK, бесплатную платформу, которая помогает разработчикам оптимизировать потоки видео и потокового вещания с помощью ряда моделей искусственного интеллекта.
Демо-версия программы доступна по ссылке.
Сегодня мы поговорим о том, как выбрать лучшие курсы Power BI в Украине, особенно для…
В 2023 году во всех крупнейших регионах конкуренция за вакансию выросла на 5–12%. Не исключением…
Unicorn Hunter/Talent Manager Лина Калиш создала бесплатный трекер поиска работы в Notion, систематизирующий все этапы…
Edtech-стартап Mate academy принял решение отправить своих работников в десятидневный отпуск – с 25 декабря…
Служба безопасности Украины задержала в Киеве 46-летнего программиста, который за деньги устанавливал шпионские программы и…
IT-специалист Джордан Катлер создал и выложил на Github подборку разнообразных ресурсов, которые помогут достичь уровня…