Исследователи из Калифорнийского университета в Риверсайде разработали метод под названием «Одновременная и гетерогенная многопоточность» (SHMT), который основан на одновременной многопоточности. Обычная многопоточность разделяет ядро ЦП на множество потоков, но SHMT идет дальше, объединяя графические процессоры и процессоры искусственного интеллекта.
Ключевое преимущество SHMT заключается в том, что эти компоненты могут одновременно работать над совершенно разными рабочими нагрузками, оптимизированными с учетом возможностей каждого из них. Этот метод отличается от традиционных вычислений, где процессор, графический процессор и ускоритель искусственного интеллекта работают независимо. Такое разделение требует передачи данных между компонентами, что может привести к возникновению узких мест.
SHMT использует то, что исследователи называют умным планировщиком работы, для динамического управления гетерогенной рабочей нагрузкой между компонентами. Эта часть процесса направлена на то, чтобы сбалансировать производительность и точность, назначая задачи, требующие высокой точности, центральному процессору, а не более подверженному ошибкам ускорителю искусственного интеллекта. Кроме того, планировщик может плавно переназначать задания другим процессорам в режиме реального времени, если один из компонентов не справляется.
В ходе тестирования технология SHMT повысила производительность на 95 процентов и сократила энергопотребление на 51 процент по сравнению с существующими методами. Результатом является впечатляющее повышение эффективности в 4 раза. В первых испытаниях концепции использовалась плата Nvidia Jetson Nano, содержащая 64-битный четырехъядерный процессор Arm, 128-ядерный графический процессор Maxwell, 4 ГБ оперативной памяти и слот M.2, в котором размещен один из ускорителей искусственного интеллекта Edge TPU от Google. Хотя это не самое современное оборудование, оно отражает стандартные конфигурации. Однако, есть некоторые фундаментальные ограничения.
«Ограничение SHMT заключается не в самой модели, а в том, может ли программист пересмотреть алгоритм, чтобы продемонстрировать тот тип параллелизма, который делает SHMT простым в использовании», — поясняется в документе. Другими словами, это не простая универсальная аппаратная реализация, которую может использовать любой разработчик. Программистам приходится учиться это делать или разрабатывать инструменты, позволяющие делать это за них.
Преимущества метода также во многом зависят от сложности задачи. В то время как пиковый подъем производительности на 95 процентов требовал максимальной сложности при тестировании, меньшие нагрузки приводили к уменьшению отдачи от нового метода. Небольшие нагрузки почти не приносили никакой выгоды, поскольку было меньше возможностей распределять параллельные задачи. Тем не менее, если эта технология сможет масштабироваться и завоевать популярность, результаты могут быть значительными, включая сокращение затрат на центры обработки данных и выбросов в атмосферу и ограничения использования пресной воды для охлаждения мощного оборудования.
Стоит отметить, что остается много безответных вопросов, касающихся реального применения, поддержки оборудования, оптимизации кода и идеальных сценариев использования. Тем не менее исследование выглядит многообещающе, учитывая взрывной рост числа генеративных приложений искусственного интеллекта за последние пару лет и огромное количество вычислительной мощности, необходимой для их запуска.