Что такое вообще все эти CUDA? Что такое RTX? Tensor Cores? Попытаюсь на пальцах рассказать...
CUDA Cores
В старые добрые времена, в эпоху "наращивания мощи NVIDIA", компания выпускала видеокарты со все большим количеством CUDA ядер. Появились они впервые в микроархитектуре Tesla, это были видеокарты от NVIDIA GeForce 8800 до Geforce 280, помните такие?
Что такое вообще CUDA? Если до поколения Нвидиа лепила разные всякие блочки для разных операций отдельно, например для пиксельных шейдеров одни блок, для вершинных другие итд, то в какой то момент они почесали тыковку и решили запихать основные вычисления в так называемые унифицированные процессоры. Так и появилась Compute Unified Device Architecture а именно CUDA, унифицированная вычислительная архитектура.
Внутри ядра CUDA находятся блок, который решает что за тип операции, целые числа(547) или плавучка(0,13245), далее эти самые числа идут в блок который занимается сложением, умножением, вычитанием и другими подобными операциями, и наконец на выходе ответ. Все просто как двадцать пять копеек!
Блоки CUDA входят в так называемые Streaming Multiprocessors(SM), где действует та же схема, получил на вход пакет, раскидал по CUDA ядрам, все они могут действовать одновременно, то бишь параллельно. Философия проста, больше ядер - больше SM, больше производительность.
Далее, как вы уже могли догадаться структура вновь масштабируется схожим образом.
Схема все та же: на вход данные, далее они расползаются по различным направлениям, но по сходному маршруту - ВХОД->SM->CUDA, затем на выход в виде картинки например:
Время шло, с момента появления количество ядер куда выросло с десятков до тысяч, темпы же роста производительности стали замедляться. Чипмейкеры подошли к технологическим пределам и дальнейший взрывной рост производительности стал весьма сложным.
Тензорные ядра
Стало ясно, что надо придумать что то новое, и опять инженеры НВИДИА стали чесать свою, уже порядком ободранную от постоянных почесов кукушку. В этот раз упомянутые разрабы решили изменить подход и немного отойти от тупого увеличения довольно затратных по площади и энергоемкости CUDA ядер. В новом поколении NVIDIA Volta были обкатаны, а затем запущены в потребительский сегмент - ТЕНЗОРНЫЕ ЯДРА!!! Нейросети наше вот это вот все!
Как видно на картинке, в вышеупомянутый Streaming Multiprocessor добавили TENSOR CORE, это они и есть. Теперь разберемся что они собой представляют.
Тензорные ядра это много много блочков которые только и умеют делать умножать и складывать и больше НИЧЕГО! Зато их много, очень много! сотни и ТЫСЯЧИ, и они все они умножают складывают одновременно! Делать они могут это не только с плавучкой но и с int8, и делают они это очень шустро, например GeForce 2080ti выполняет 215 триллионов операций в секунду!
Как это может использоваться?
NVIDIA запилила специальный драйвер и зовется он DLSS. Позволяет ентот самый драйвер на халяву удвоить ФПС, то бишь количество кадров в секунду, правда только на высоких разрешениях типа 4К. Видеокарта рендерит картинку на ВЧЕТВЕРО более низком разрешении 1920х1080 далее сует картинку прожеваться уже обученнной нейросети внутри видяшки же, и тензорные блоки растягивают картинку и дорисовывают недостающее. DLSS(Deep Learning Super Sampling) это нейросеть заранее натасканая на СУПЕРСГЛАЖИВАНИЕ в сумрачных цехах NVIDIA, на текущий момент уже вышла версия 2.0, которая делает это куда лучше первой, особенно в низких разрешениях.
DLSS картинка в итоге выглядит чуть ли не лучше чем нативная картинка отрендеренная в 4К
Помимо картинки, которая как будто не хуже оригинальной 4к, фреймрейт растет чуть ли не до двух раз, оно и понятно рендерим то в 4 раза меньше точек, правда накладные расходы в виде перемещений картинку внутри карты видимо все же подъедают фреймрейт, что видно на графике. Стоит добавить, что благодаря возможности обрабатывать плавучку, от FP16 до FP64, на видеокарте можно не только играть и крутить обученные сетки, но и обучать эти самые сетки, и разрабатывать, например, мозги для своих Огромных Боевых Человекоподобных Роботов, которые, без сомнения, захватят мир во славу USERNAME!
RTX
Если раньше использовались различные методики обмана ваших глазок, например аппроксимация объекта и наложение на него пятен затенения или проекция объекта на плоскость.
То теперь, НВИДИА разродилась RTX блоками.
Что за блоки такие ?.
Нвидиа вкорячила прямо вовнутрь чипов архитектуры TURING (2080 и т.д.) и AMPERE (3080 и т.д.) дополнительный блок обработки освещения который считает обратные лучи в реальном времени. Вот это, скажу я вам, действительно прорыв в видеокартоделании!!!1
Технология RayTrace существовала и ранее, но программно, и оной пользовались в основном всякие там рисовальщики спецэффектов к Мстителям и прочим ЧеловекамПаукам. Связано было это с тем, что данная технология требует весьма значительное количество вычислений.
В чем суть, метод имитирует настоящий, так сказать, свет. Но немножко хитрым образом. Не как в реальной жизни - фотон прилетел, ударился о стену и в глаз, а наоборот.
Из глаза, то бишь камеры, которой USERNAME смотрит на многочисленные трупы своих компьютерных противников, вылетает луч, стукается об объект и мы видим точку освещения объекта в том месте куда ударил этот самый луч и наконец летит далее к другим объектам. Так сделано, чтобы посчитать только то, что видит юзверь, а не все то, что освещает свет. лучей таких много, очень, и картинка получается очень реалистичной. Метод весьма близок к, так сказать, естественному, universe made.
Как говорится взгляните сами, результат налицо.
Это если в двух словах, надеюсь понравилось, лайк и напишу еще что нить интересное.