Исследователи из Университета Ватерлоо представили метод, который значительно ускоряет и удешевляет создание больших языковых моделей (LLM). Разработка может сделать мощные инструменты искусственного интеллекта (ИИ) доступнее для широкого круга пользователей.
Технология под названием SubTrack++ сокращает время предобучения модели — самый затратный этап — до 50%. При этом точность работы системы не только сохраняется, но и превышает современные аналоги.
Создание LLM требует огромных вычислительных ресурсов, специального оборудования и электроэнергии, что ограничивает разработку крупными корпорациями. Новый метод фокусируется на ключевых параметрах модели, упрощая процесс корректировки ошибок.
Как пояснили авторы, обучение похоже на чтение целой библиотеки для понимания закономерностей языка. SubTrack++ позволяет эффективнее выстраивать этот процесс.
Исследование способствует развитию доступного и ответственного ИИ. Ускорение и снижение стоимости обучения откроет возможность создания персонализированных цифровых помощников, адаптированных под индивидуальные нужды.