При создании идеальной рабочей станции решающее значение имеет выбор правильных компонентов.
Видеокарты - короли искусственного интеллекта и машинного обучения
Нельзя отрицать, что GPU или специализированная FPGA будут на несколько порядков быстрее, чем CPU, практически для любой рабочей нагрузки ML. Они имеют специализированные библиотеки для эффективного использования ресурсов видеокарты. Тензорные ядра превосходят при выполнении вычислений с меньшей точностью, необходимых для нейронных сетей. И не говоря уже о том, что они являются энергоэффективными благодаря распараллеливанию всего процесса.
Еще до истории с дефицитом чипов мощная видеокарта была серьезным капиталовложением. Будь то одна для единственного ученого или тысячи для институтов и лабораторий, графические процессоры представляют собой пугающий счет. Вот несколько параметров, которые следует иметь в виду:
- Скорость вычисления с одной и половиной точностью – машинное обучение обычно не требует высокого уровня точности для анализа языковых или графических моделей, поэтому вы можете повысить производительность, снизив точность на несколько значений.
- Емкость VRAM – это ограничивающий фактор для типа алгоритма, который вы можете запустить на своих GPU, поскольку для некоторых потребуется более 24 ГБ VRAM. Поэтому ваш выбор GPU ограничен верхним уровнем.
- Пропускная способность памяти – в общем, чем выше, тем лучше.
- Ваши библиотеки – выбранные вами карты должны поддерживать библиотеки, которые вы собираетесь использовать для своего проекта или направления работы.
Графический чип практически для каждого кошелька
Конечно, иногда вы можете получить графические процессоры по дешевке (и есть некоторые хорошие предложения), но, скорее всего, счет будет идти на тысячи долларов. Поэтому, чтобы сделать выбор немного проще, мы разделим видеокарты на четыре категории в соответствии с возможностями и ценами:
- Бюджетный вариант: NVIDIA RTX 3080 (NVIDIA FE, ASUS Strix, EVGA FTW3 и др.)
- Солидный средний диапазон: NVIDIA RTX 3090 или RTX 6000
- Top-уровень: NVIDIA RTX 8000
- Корпоративный класс: NVIDIA V100 или A100
Вы можете пойти ниже, чем RTX 3080, например, с некоторыми старыми картами RTX, такими как RTX 2080 или 2080Ti. Однако вы столкнетесь с несколько более низкой производительностью и меньшим количеством VRAM, которые могут ограничивать алгоритмы, которые вы можете использовать.
Начиная с карт среднего уровня, вы увидите 24 ГБ VRAM, которые могут запускать все типы алгоритмов и наборов данных. И если вы хотите повысить производительность, то может быть выгоднее получить 2 или более видеокарты вместо того, чтобы получить один GPU из более дорогой ценовой категории.
Варианты корпоративного и верхнего уровня в основном зарезервированы для системных интеграторов и производителей серверов, а их цена зачастую составляет десятки тысяч долларов.
Проблемы с плотностью компонентов
Установка достаточного количества видеокарт и другого вспомогательного оборудования в относительно портативное шасси создает свой собственный набор проблем. Решения с воздушным охлаждением ограничивают максимальное количество графических процессоров в стандартной системе до 4 или менее. Это связано с тем, что воздушные охладители должны быть непосредственно установлены на графическом процессоре, чтобы выполнять свою роль.
Независимо от того, насколько эффективно вентиляторы продувают воздух через радиатор, этого просто недостаточно. И не говоря уже о уровне шум. Но хвала физике и технике! Жидкостное охлаждение готово занять центральное место и обеспечить идеальное решение.
Технология жидкостного охлаждения
В своей основе жидкостное охлаждение — это просто охлаждающая жидкость, перекачиваемая от источника тепла. Графические чипы и процессоры могут быть оснащены водоблоками, которые перемещают тепловую энергию к радиатору, который затем рассеивает собранное тепло. Охлаждающие жидкости на основе воды и гликоля обладают отличными теплопередающими и емкостными свойствами, что позволяет им быть в 10 раз более эффективными по сравнению с воздушным охлаждением.
Эффективное использование жидкостного охлаждения требует некоторых дополнительных технических средств и компонентов, но в конце концов оно того стоит.
Правильная видеокарта может оказать огромное влияние на вашу работу и производительность. Надеюсь, что в этом материале мы помогли вам с выбором лучшего графического процессора для своей рабочей станции и потребностей машинного обучения.