Сегодня NVIDIA показала демо автомобильного симулятора, графика в которой создается посредствам глубокого машинного обучения.
В этом демо можно лишь перемещаться по городу, визуальный вид которого создается в реальном времени.
Для его создания использовались видеозаписи поездок по разным городам.
В каждом кадре различные объекты имели различные цвета, что помогало системе анализировать окружающий мир и создавать на их основе объекты, после помещая их в игровую среду движка Unreal Engine 4.
Объектам в этом демо присущи не только модели, но и текстуры для них. Так как ИИ генерировала окружение каждый кадр, цвета постоянно менялись, для того чтобы исправить ситуацию была добавлена система краткосрочной памяти, которая сравнивала прошлый кадр с будущим и предсказывала дальнейшие изменения цвета. Из-за такой нагрузки видеокарта Titan V за 200 000 рублей выдавала лишь 25 кадров в секунду.
Оригинальная статья на английском и видео-демонстрация :
