🦋 Bonsai 27B помещается в смартфон: зачем 27-миллиардной модели понадобился один бит
Модель с 27 млрд параметров обычно ассоциируется с мощной видеокартой, большим объёмом памяти и весьма заметным счётом за электричество. PrismML предлагает другой сценарий: Bonsai 27B занимает от 3,9 до 5,9 ГБ и, по заявлению разработчиков, способна работать не только на ноутбуке, но даже на iPhone. Звучит почти неправдоподобно. Полноточная модель такого размера требует примерно 54 ГБ памяти, а распространённое 4-битное сжатие уменьшает её примерно до 18 ГБ — всё ещё слишком много для большинства телефонов...