CRS NEWS
ИИ NVIDIA делает прорыв в создании графики в видеоиграх
NVIDIA раскрыла технологию, которая с помощью искусственного интеллекта создаёт фотореалистичную графику. Эта технология может применяться в компьютерных играх, кино и виртуальной реальности. Прототип технологии был представлен 4 декабря 2018 года на конференции NeurIPS 2018 в Монреале.
Создание графики с помощью ИИ
Вице-президент NVIDIA Брайан Катанзаро сообщил, что новая технология изображений основана на глубоком обучении и генеративно-состязательной сети (GAN). Эта нейронная сеть используется в системах генерации и обработки изображений, таких как известный "генератор котов" pix2pix.
NVIDIA улучшила алгоритм и создала демо-версию игры, в которой графика полностью генерируется ИИ. В демо-версии вам нужно проехать несколько кварталов на автомобиле. Несмотря на то, что игрок не может выйти из автомобиля или взаимодействовать с миром, новая технология демонстрирует возможность использования ИИ для создания виртуальных вселенных.
Принципы работы
На первом этапе разработчики собрали данные из открытых источников, используемые для обучения автономных автомобилей. Это были изображения неба, автомобилей, домов, деревьев и других объектов. Данные были категоризированы и "скормлены" нейронной сети, которая была обучена создавать новые версии этих объектов.
На следующем этапе был использован игровой движок Unreal Engine 4, в котором разработчики создали "скелет" виртуальной среды. ИИ добавил графику в этот виртуальный мир. Для расчетов использовалась видеокарта Titan X. Катанзаро отметил, что структура VR-мира была создана традиционными методами, кроме графики. По его словам, это концепция, а не готовый продукт. Пока система работает на 25 кадров в секунду, больше мощности не хватает. Кроме того, разработчикам пришлось добавить "краткосрочную память" в систему, чтобы текстуры не менялись в каждом кадре.
Безопасность технологии и сроки появления
Система находится в начальной стадии тестирования. Может пройти несколько лет, прежде чем коммерческая версия будет выпущена. Катанзаро сравнил генерацию графики ИИ с технологией трассировки лучей, которая была создана давно, но только сейчас нашла применение в производственных устройствах.
Вице-президент NVIDIA подтвердил, что новая технология может использоваться для создания фальшивых изображений. В этом случае, по его словам, проблему дезинформации следует решать не только на технологическом уровне. Он отметил, что система будет полезна не только для создания графики, но и для роботов, беспилотных автомобилей и других подобных систем.
Нейронная сеть, создающая графику, решит проблему разрешения текстур и необходимости хранить их в памяти в играх. Создание графических объектов будет полностью автоматизировано, что ускорит игры и сделает их более гибкими.
RTX 5090: 3 ГГц и более миллиарда транзисторов, ожидается к концу 2024 года
В конце 2024 года ожидается выход новейшей модели видеокарты - RTX 5090. Созданная на основе 3-нм техпроцесса TSMC, эта карта обещает превзойти все предыдущие стандарты.
В прошлом году NVIDIA ввела в строй новое поколение видеокарт Ada Lovelace, включая модели GeForce RTX 4090, RTX 4080, RTX 4070 Ti и RTX 4070. Также предстоит выпуск GeForce RTX 4060 Ti. Все эти карты разработаны на базе 5-нм техпроцесса TSMC (N4) и состоят из пяти чипов размером от 144 мм^2 (AD107) до 608 мм^2 (AD102).
Видеокарта GeForce RTX 4090, основанная на процессоре AD102, может похвастаться 18 432 шейдерами и 96Mb L2 кэша. Она обладает 192 ROPs, 576 TMU и 2304 SFU. Кроме того, RTX 4090 имеет TBP до 450W и пиковую мощность до 800W. Изначально эти параметры были заявлены для RTX Titan, но планы были изменены.
Впереди нас ждет серия Blackwell (GeForce RTX 5000), запланированная к выпуску в конце 2024 года. Эта серия будет создана с использованием монолитного дизайна и будет изготовлена по стандартам 3-нм техпроцесса TSMC.
Согласно информации от инсайдера Kopite7kimi, процессоры Blackwell будут содержать более миллиарда транзисторов и плотность около 150 млрд/мм². Ожидается, что тактовая частота ядра превысит 3 ГГц, а ширина шины достигнет 512 бит. Пропускная способность памяти этих карт будет конкурировать с пропускной способностью памяти HBM.
Кризис ПК-гейминга: Технические трудности игр 2023 года на обсуждении в Digital Foundry
В 2023 году несколько крупных игр, включая The Last of Us Part I, Star Wars Jedi: Survivor, Redfall и Forspoken, были выпущены на ПК в технически недостаточном состоянии. Эту ситуацию обсудили в Digital Foundry в рамках 110-го выпуска их подкаста.
Перед началом дискуссии специалист DF Алекс Батталья подчеркнул, что кризис сформировался только среди AAA-игр для ПК. По его словам, это не касается игр класса AA и инди. Напротив, у таких игр из-за их меньшего масштаба меньше технических сложностей.
Батталья выделил основные причины, по которым AAA-игры на ПК испытывают проблемы.
- Движки, включая Unreal Engine 4, теперь гораздо лучше оптимизированы под консоли. Это связано с тем, что в предыдущем поколении консолей разработчики больше внимания уделяли версиям для Xbox и PlayStation, а меньше - версиям для ПК.
- Игры на Unreal Engine 4 менее эффективно используют производительность компьютера, особенно многоядерные многопоточные процессоры. По словам Баттальи, это очень хорошо видно на примере нескольких игр 2023 года, таких как Redfall и Jedi: Survivor, которые активно используют только два потока.
- Не все разработчики освоили переход на DirectX 12, который использует объекты состояния конвейера (PSO). В результате некоторые игры, особенно на UE4, испытывают замедление из-за компиляции шейдеров во время игры.
- Разработчики недостаточно внимательны к качеству портов ПК до выпуска. Батталья отметил, что это также очень хорошо видно по тому, как у большинства проблемных игр для ПК 2023 года технические патчи, улучшающие производительность, выходили через несколько дней или недель после релиза.
- Отладка и тестирование игр на ПК требуют гораздо больше времени и ресурсов по сравнению с консолями из-за различных конфигураций компьютеров.
Джон Линнеман напомнил, что порты консолей на ПК всегда имели технические проблемы. Однако в 2023 году эта ситуация кажется не логичной, потому что ПК значительно мощнее консолей. В этом отношении эксперт также считает, что проблема не в "железе", а в программном обеспечении.
Батталья согласился с коллегой и отметил, что слышал от разработчиков о проблемах, с которыми сталкиваются на Unreal Engine 4. Среди прочего, движок имеет очень плохую документацию по компиляции шейдеров, и процесс его реализации практически не автоматизирован. Кроме того, по мнению обозревателя, UE4 в целом не создавался для таких крупномасштабных игр с большими открытыми мирами, которые выходят в последние годы.
Специалисты DF считают, что владельцы ПК не должны расстраиваться из-за последних не очень успешных технически выпущенных игр, потому что Unreal Engine 5 должен исправить многое. Батталья подчеркнул, что Epic Games назвал улучшенную поддержку огромных открытых миров и уменьшение проблем с компиляцией шейдеров ключевыми преимуществами движка. Таким образом, предстоящие игры на UE5 должны избавиться от замедлений, которые часто возникают на UE4, по крайней мере частично.
Линнеман выразил надежду на то, что в свете неудач с недавними играми на Unreal Engine, ведущие издатели заинтересуются созданием собственных движков. Компании смогут усовершенствовать и полировать свои движки, опираясь на собственные потребности, а не используя общедоступное решение.
Он также добавил, что ему очень жаль, что CD Projekt RED отказались от использования REDengine в пользу UE5. По мнению эксперта, в своем текущем состоянии Cyberpunk 2077 визуально более впечатляюща, чем любая игра, когда-либо созданная на UE.
Технология SAWSense: управление устройствами через поверхности
SAWSense - экспериментальная технология, разрабатываемая в Мичиганском университете, которая позволяет управлять устройствами через поверхности. Она использует акустические волны, которые распространяются по поверхности объектов. Эта технология позволяет использовать практически любую поверхность в качестве тактильного интерфейса.
Технология включает в себя голосовые приёмники (VPU), которые уже используются в наушниках с костной проводимостью. Каждый VPU содержит акустический датчик, который находится в герметично закрытой камере, блокирующей все окружающие шумы. Если VPU поместить на поверхность, он будет легко улавливать акустические волны, проходящие через эту поверхность, когда человек постукивает, царапает или проводит пальцем по ней.
Программа с алгоритмом машинного обучения способна сопоставить различные волновые узоры с движениями пальцев, которые их вызвали, с точностью 97%. Потом программа выполняет заранее заданные команды, соответствующие каждому движению.Также алгоритм может определять различные действия, совершаемые на поверхности, по характерным поверхностным акустическим волнам. Например, в лабораторных испытаниях технология смогла отличить взбивание, измельчение и обработку продуктов, выполняемые на кухонной столешнице.
Эта технология позволит использовать всю поверхность вашего тела как интерактивную поверхность. Если надеть устройство на запястье, можно будет делать жесты на своей коже. Предварительные результаты показывают, что это вполне осуществимо.
SAWSense предлагает альтернативу традиционным методам управления устройствами. Использование сенсорных экранов или кнопок не всегда практично, а голосовые команды могут не работать в шумной обстановке. Он же позволяет управлять устройствами через поверхности путем проведения пальцем или постукивания по поверхности. Это удобно, практично и инновационно.
Доклад об этой системе был представлен на конференции 2023 по человеческим факторам в вычислительных системах в Гамбурге, Германия.
Создан самый маленький светодиод в мире, открывающий путь к смартфонам с голографическим микроскопом
Ученые проекта SMART разработали самый маленький светодиод в мире, который может стать прорывом в фотонике. Светодиод производит излучение в ближнем инфракрасном диапазоне и имеет диаметр всего 400 нм. Благодаря этому компактному излучателю был создан самый маленький голографический микроскоп, который можно будет установить на смартфон.
Микроскоп, построенный на основе этого светодиода, не требует сложной системы линз, что делает его меньше и дешевле обычных микроскопов. Свет попадает на КМОП-матрицу, создавая цифровую голограмму, которая после компьютерной обработки преобразуется в читаемое изображение. Преодолеть сложности, связанные с последним этапом, помог алгоритм искусственного интеллекта.
Такой микроскоп обеспечивает достаточно высокое разрешение - примерно 20 мкм. Это позволяет изучать при помощи гаджетов, например, человеческие ткани или семена растений. Голографический микроскоп может служить для биологической визуализации, создания различных биосенсоров и имплантируемых компонентов.
Создание такого компонента может стать прорывом в фотонике, технологической области, связанной с передачей и свойствами фотонов. Эта сфера охватывает оптическую передачу данных, технологии визуализации, освещения и дисплеев. Ранее отсутствие достаточно компактных излучателей было одной из проблем в этой области, из-за чего приходилось использовать внешние источники света с низкой энергоэффективностью, а фотонные чипы было сложно масштабировать.
Ученые утверждают, что такое устройство можно встроить в смартфон, что позволит использовать его для биологических исследований. Это открывает новые возможности для создания различных биосенсоров и имплантируемых компонентов, а также для биологической визуализации.
