PrismML представила Bonsai 27B — мультимодальную модель на 27,8 млрд параметров, которая, по заявлению разработчиков, способна работать прямо на смартфоне. Не через удалённый сервер, не в виде урезанной демонстрации с крошечной языковой моделью, а локально, используя память и вычислительные блоки самого iPhone. Главная цифра здесь — 3,9 ГБ. Именно столько занимает наиболее сжатая версия Bonsai 27B. Для сравнения: исходной модели такого масштаба при 16-битном представлении весов требуется около 54 ГБ, а обычная 4-битная сборка, по оценке PrismML, занимает примерно 18 ГБ...

Открытый исходный код (Open Source) и разработчики - это важная и популярная тенденция в мире программного обеспечения, которая продолжает расти. Это связано с тем, что разработчики всего мира могут сотрудничать и делиться своим кодом, что позволяет создавать более качественное и быстрое программное обеспечение. В то же время, компании, использующие закрытый исходный код, не всегда могут участвовать в этой тенденции и оставаться на вершине развития. Независимо от статистики, если вы пишете код, вы, вероятно, интересуетесь последними новинками в открытом исходном коде в 2023 году...