48,4 тыс подписчиков
Новая технология снижает расход энергии на работу БЯМ в 50 раз
Работу алгоритмов больших языковых моделей требует огромного количества энергии. К примеру, суточный счет за электричество на ChatGPT 3.5 составляет $700 000. Команда исследователей из США утверждает, что можно отказаться от самого требовательного вычислительного элемента БЯМ — матричного умножения, не теряя производительности. Запустив свои алгоритмы на собственном оборудовании, они обнаружили, что БЯМ с миллиардом параметров может работать на 13 ваттах электроэнергии. Примерно столько требуется для работы одной лампочки.
Около минуты
27 июня 2024