Компания Red Hat представила первую версию дистрибутива RHEL AI, предназначенного для машинного обучения и создания серверных решений с использованием больших языковых моделей. В состав дистрибутива вошли разнообразные инструменты и фреймворки для ML, а также драйверы для аппаратных ускорителей от компаний AMD, Intel и NVIDIA. RHEL AI также включает компоненты, оптимизированные для работы с серверами от Dell, Cisco, HPE, Lenovo и SuperMicro.
Платформа RHEL AI открывает возможности для создания корпоративных ИИ-приложений, генерации контента, разработки диалоговых систем и интеграции с виртуальными ассистентами. Дистрибутив доступен через Red Hat Customer Portal и может быть использован как для прямой установки на серверы, так и для развёртывания в облачных системах AWS и IBM Cloud.
Важной частью RHEL AI являются интегрированные компоненты для создания и тестирования систем машинного обучения на базе языковой модели Granite, разработанной компанией IBM. Она учитывает при генерации текста до 4000 токенов и охватывает 7 миллиардов параметров. Для эффективного взаимодействия с Granite используется инструментарий InstructLab, который позволяет оптимизировать модели и добавлять новые навыки.
«RHEL AI даст возможность вносить вклад в создание целевой модели ИИ не только специалистам по обработке данных, но и экспертам в предметной области. Она также позволит ИТ-организациям масштабировать эти модели для своего производства с помощью Red Hat OpenShift AI», — Джо Фернандес, вице-президент и ведущий менеджер Foundation Model Platforms, Red Hat.
Расходы на покупку оборудования и софта, обучение и тонкую настройку языковых моделей достигают астрономических сумм. Стоимость обучения крупных моделей доходят до 200 миллионов долларов. Это без учёта адаптации нейронных сетей под требования отдельно взятого бизнеса. Red Hat считает, что в течение последующего десятилетия будут разработаны небольшие, но эффективные модели ИИ на стыке корпоративного ИТ-стека и облачных технологий. И RHEL AI станет своеобразным мостом к этому будущему.