Компания AMD сделала большой вклад в развитие общего искусственного интеллекта, объявив о выпуске фирменной линейки больших языковых моделей (LLM) под названием AMD OLMo. Сообщается, что новый языковой модуль с открытым исходным кодом создан на базе внутренних данных компании и, как и другие известные LLM, такие как GPT-4 от OpenAI, способен выполнять задачи по пониманию текста, рассуждению и взаимодействию с пользователем. AMD OLMo распространяется бесплатно и уже доступен для скачивания, но есть загвоздка, он может работать только на графических процессорах AMD Instinct MI250 и на компьютерах с процессорами Ryzen AI, оснащенными нейропроцессорами (NPU). Также AMD предлагает заинтересованным лицам и разработчикам специализированную инфраструктуру в своем облачном сервисе AMD Developer Cloud.
Основная область применения OLMo — центры обработки данных и небольшие компании. Для дата-центров с графическими процессорами AMD Instinct модель готова предоставить все свои возможности в полную силу. Однако даже если у компании нет специализированного оборудования, она все равно может воспользоваться OLMo, благодаря поддержке Ryzen AI и NPU на обычных ПК. Эта модель также позволяет организациям и исследовательским группам интегрировать собственные данные для ее обучения и настройки, создавая таким образом версии LLM, оптимально адаптированные под их конкретные задачи.
Разработчики AMD обучили модель с использованием кластера графических процессоров Instinct, обрабатывающего в общей сложности 1,3 триллиона токенов на 16 специализированных узлах, каждый из которых был оснащен четырьмя графическими процессорами Instinct MI250. Модель AMD OLMo может работать с 1 миллиардом параметров, что делает ее мощным инструментом для обработки сложных языковых задач.
Обучение модели OLMo прошло через три ключевых стадии: предварительное обучение, две фазы SFT (Supervised Fine Tuning) и выравнивание DPO. На первом этапе, предварительного обучения, модель обучалась на части датасета Dolma v1.7, изучая языковые закономерности и общие знания. Следующий этап, Supervised Fine Tuning (SFT), был разделен на две фазы и включал специальное обучение, направленное на улучшение научных, кодировочных и математических способностей модели, а также на повышение точности выполнения инструкций. На заключительном этапе DPO модель была настроена для лучшего соответствия предпочтениям и ценностям, которые важны для взаимодействия с людьми, делая её более «человечной».
AMD провела обширное тестирование OLMo, включая сравнительные оценки с другими открытыми языковыми моделями. Результаты показали, что OLMo демонстрирует высокие показатели, особенно в таких тестах, как AlpacaEval2 и MT-Bench. Модель также прошла тесты на соответствие принципам ответственного использования ИИ, демонстрируя аналогичные результаты с такими моделями, как TinyLlama и MobileLlama. К тому же модель успешно прошла тест TruthfulQA-mc2, который проверяет способность модели к правдивым ответам, и тест ToxiGen — уровень использования токсичного языка (для которого более низкий балл считается лучшим).
Таким образом, AMD OLMo готова к использованию разработчиками и исследователями, предоставляя им мощный и гибкий инструмент для работы с искусственным интеллектом. Модель доступна для скачивания бесплатно, что открывает широкие возможности для внедрения и разработки новых решений в сфере ИИ.