По безудержной активности Apple в части развития функций искусственного интеллекта видно, насколько компания прониклась своим отставанием от конкурентов и насколько хочет его сократить. Сегодня она выпустила несколько открытых языковых моделей (LLM), которые предназначены для работы на локальном устройстве пользователя, а не на облачных серверах. Они получили название OpenELM (Open-source Efficient Language Models) и доступны на площадке Hugging Face Hub.

Как указано в сопроводительной документации, всего собрано восемь моделей OpenELM: четыре из них были предварительно обучены с помощью библиотеки CoreNet, а четыре — донастроены по инструкциям. При этом Apple использовала "стратегию послойного масштабирования", направленную на повышение точности и эффективности.

В общедоступном комплекте содержатся исходный код, журналы обучения и несколько версий, а не только финальная обученная модель. Авторы, стоящие за проектом, надеются, что это приведет к ускорению прогресса и "более надежным результатам" в области ИИ на естественном языке.

"OpenELM — современная открытая языковая модель. OpenELM использует стратегию послойного масштабирования для эффективного распределения параметров внутри каждого слоя трансформаторной модели, что приводит к повышению точности. Например, при бюджете параметров около миллиарда параметров OpenELM демонстрирует 2,36%-ное улучшение точности по сравнению с OLMo, требуя при этом в 2 раза меньше токенов для предварительного обучения.

Отличаясь от предыдущих практик, которые предоставляли только веса модели и код вывода, а также предварительное обучение на частных наборах данных, наш релиз включает полную структуру для обучения и оценки языковой модели на общедоступных наборах данных, включая журналы обучения, несколько контрольных точек и конфигурации предварительного обучения".

Apple заявляет, что открывает модели OpenELM, чтобы "расширить возможности и обогатить открытое исследовательское сообщество" самыми современными языковыми моделями. Обмен моделями с открытым исходным кодом дает исследователям возможность изучить риски, данные и погрешности моделей. Разработчики и компании могут использовать модели как есть или вносить в них изменения.

Apple еще не внедряла подобные возможности ИИ в свои устройства, но ожидается, что iOS 18 будет включать ряд новых функций ИИ, а слухи говорят о том, что Apple планирует запускать свои большие языковые модели в первую очередь именно на устройстве.

2 минуты

25 апреля 2024