Специалисты из Университета Калифорнии в Санта-Крузе смогли запустить большую языковую модель с миллиардом параметров при расходе всего 13 Вт. Это примерно столько же, сколько расходуют современные светодиодные лампочки. Графические процессоры в серверах, используемые для выполнения задач больших языковых моделей, требуют около 700 Вт.
До сих пор искусственный интеллект развивался в направлении повышения производительности, и меньше внимания уделялось эффективности. Чтобы исправить этот недостаток, исследователи исключили использование интенсивной техники под названием «умножение матриц». Это означает, что словам назначаются числовые значения, они хранятся в матрицах и умножаются для создания языка. Для этого требуется значительное количество ресурсов.
Вместо этого все числа в матрицах нейронной сети были сделаны троичными, принимающими значения -1, 0 и +1. Это позволило сократить вычислительную работу до суммирования вместо умножения, что существенно экономит ресурсы. Для максимизации энергосберегающих функций нейронной сети было использовано специальное оборудование на базе программируемой пользователем вентильной матрицы (FPGA).
На специализированном оборудовании нейронная сеть оказалась в 50 раз эффективнее. При этом её производительность осталась на высоком уровне.
Эта нейронная сеть способна функционировать и без специального оборудования. Она может работать на стандартных графических процессорах, потребляя в 10 раз меньше памяти. Это открывает возможности для развертывания полноценных нейронных сетей на мобильных устройствах, таких как смартфоны. Таким образом, искусственный интеллект может продолжить своё распространение среди обычных пользователей.