Недавно Apple представила новое семейство больших языковых моделей с открытым исходным кодом, известных как OpenELM (эффективные языковые модели с открытым исходным кодом). Эти модели предназначены для локальной работы на устройствах, что знаменует значительный переход от традиционной зависимости от облачных серверных вычислений. Эта разработка является частью более широкой стратегии Apple по интеграции более продвинутых возможностей искусственного интеллекта непосредственно в свои устройства, повышая как конфиденциальность, так и скорость обработки данных
Обзор OpenELM
В моделях OpenELM используется стратегия послойного масштабирования, которая эффективно распределяет параметры внутри каждого уровня модели transformer для повышения точности. Например, при бюджете параметров примерно в один миллиард параметров OpenELM продемонстрировал повышение точности на 2,36% по сравнению со своей предшественницей OLMo, при этом потребовалось вдвое меньше токенов предварительной подготовки.
В Такой подход не только повышает производительность, но и снижает вычислительную нагрузку на устройства, что крайне важно для запуска приложений искусственного интеллекта непосредственно на потребительском оборудовании.
Особенности и возможности
- Проект OpenELM включает в себя несколько ключевых функций, которые отличают его от предыдущих моделей искусственного интеллекта:
Доступность с открытым исходным кодом: Apple сделала OpenELM доступной на Hugging Face Hub, что позволяет разработчикам и исследователям получать доступ к ней и вносить свой вклад в ее разработку.
- Комплексная платформа обучения: В отличие от традиционных моделей, которые предоставляют только веса модели и код вывода, выпуск OpenELM включает полную платформу для обучения и оценки на общедоступных наборах данных. Сюда входят журналы обучения, несколько контрольных точек и конфигурации перед обучением.
- Повышенная конфиденциальность и скорость работы: Благодаря запуску OpenELM на устройстве отпадает необходимость передавать данные на облачные серверы, тем самым повышая конфиденциальность пользователей. Кроме того, локальная обработка сокращает задержку, обеспечивая более быстрое время отклика для функций, управляемых искусственным интеллектом, на устройствах.