9543 подписчика
Microsoft со своими 40 TOPS для наилучшей работы AI как бы установила «стандарт», и все решили, что только лишь производительность является краеугольным камнем в определении работоспособности ИИ. Но с анонсом #AppleIntelligence у взявших это за точку отсчёта возникло непонимание, почему устройства с чипом Apple M1 поддерживают AI при 11 TOPS, а с Apple A16 с 17 TOPS его не поддерживает.
Известный информатор Минг-Чи Куо решил исправить ситуацию, разъяснив некоторые моменты. Если Microsoft стремится всё делать на железе пользователя и для этого реально нужна мощность, у Apple часть задач выполняется в облаке Private Cloud Compute, и особо много вычислений на устройстве не требуется. Упор тут идёт на другой аспект. Их языковая модель с 3 млрд параметров (3B LLM) имеет формат FP16 (двоичный формат чисел с плавающей запятой, занимающий 16 бит, — 2 байта), при сжатии со смешанной 2-битной и 4-битной конфигурацией займёт в ОЗУ 0,7–1,5 Гб. Учитывая, что iPhone до сих пор неплохо работают с 6 Гб ОЗУ, они решили развернуть AI на устройствах с 8 гигами оперативки, так чтоб #iPhone15Pro имел для приложений столько же памяти, как и обычный #iPhone15, но с развёрнутой LLM.
В итоге проблема тут не в мощности, а в объёме. Получается, что даже ожидаемый этой осенью #iPhoneSE4 с 6 Гб ОЗУ может не получить фишек AI, а с улучшением ИИ путём расширения до 7B LLM (языковая модель с 7 млрд. параметров), уже современные аппараты могут выпасть из обоймы, поскольку оперативной памяти не хватит.
@ЧЕСТНЫЙ БЛОГ - Николай
1 минута
13 июня 2024