Обучение больших нейронных сетей, лежащих в основе многих современных инструментов ИИ, требует большой вычислительной мощности. Например, для обучения продвинутой языковой модели GPT-3 требуются многие миллиарды операций и более $5 млн на обеспечение этих вычислений.
Но инженеры нашли способ облегчить этот процесс с помощью нового метода представления чисел. Исследователи из Университета Комплутенсе де Мадрид разработали первое процессорное ядро, реализующее стандарт posit в аппаратном обеспечении, и показали, что точность базовой вычислительной задачи увеличивается в четыре раза по сравнению с использованием стандартных чисел с плавающей запятой.
Мадридские ученые не единственные, кому удалось расширить возможности представления чисел. Буквально на прошлой неделе Nvidia, Arm и Intel согласовали спецификацию использования 8-битных чисел с плавающей запятой вместо обычных 32-битных или 16-битных. Большая часть вычислений нейронной сети состоит из операций умножения. Каждый раз, когда выполняется такое вычисление, каждая новая сумма должна быть усечена заново, что приводит к потере точности. С новым методом команда программистов смогла сравнять вычисления, выполненные с использованием 32-битных чисел с плавающей запятой и 32-битных положений. Позиции продемонстрировали поразительное улучшение точности матричного умножения при обучении нейронной сети.
