Как в реальной жизни: исследователи Intel улучшили графику в GTA V

Команда исследовательского центра Intel Labs разработала нейросеть для создания фотореалистичных изображений под названием Enhancing Photorealism Enhancement. В качестве примера нейросеть обучили для модификации кадров из игры GTA V. 

Данные для обработки были взяты с видеорегистраторов, собранных на сайте Cityscapes. Модификации, выполненные по технологии Enhancing Photorealism Enhancement, геометрически, семантически и по времени согласуются с исходными изображениями. Эффект достигает за счет обработки кадров нейросети с эффективным распознаванием объектов сетью со сверточной архитектурой. 

Исследователи Intel утверждают, что их технология выходит за рамки того, на что способны существующие процессы фотореалистичного преобразования за счет интеграции геометрической информации из GTA V, которая хранится в так называемых G-буферах. Они содержат, например, данные о расстоянии между объектами в игре и о качестве текстур.

Более подробно о технологии Enhancing Photorealism Enhancement можно узнать из статьи исследователей Intel.