© Stefan Steinbauer/Unsplash
Исследователи из Университета Калифорнии в Санта-Круз достигли значительного прорыва в области больших языковых моделей. Новый метод позволил запустить LLV с миллиардами параметров при энергопотреблении системы всего в 13 Вт, что эквивалентно потреблению бытовой светодиодной лампы. Исследователи смогли значительно уменьшить энергозатраты, устраняя самую дорогостоящую часть работы с большими языковыми моделями. Используя специализированное оборудование и методику троичных чисел, они добились высокой эффективности, превосходящей типичное оборудование более чем в 50 раз.Этот инновационный подход не только улучшает производительность, но и снижает затраты. Работа команды исследователей из Баскинской школы инженерии привела к созданию модели, способной выполнять задачи быстрее и при этом потребляющей значительно меньше энергии, чем стандартные GPU. Исследователи призывают к дальнейшим усовершенствованиям в этой области, открывая путь к более устойчивому развитию искусственного интеллекта и снижая его экологическое воздействие.