Ученые оптимизировали большие языковые модели на 15% без потери качества

Ученые из Сбербанка, лаборатории Fusion Brain Института искусственного интеллекта и Сколтеха представили революционный метод оптимизации больших языковых моделей искусственного интеллекта (ИИ), которые используются в диалоговых ботах и других приложениях.

Исследование показало, что существует высокая линейная зависимость между уровнями этих моделей, что позволяет упростить модель до 10-15% без потери качества. Такой подход позволяет значительно снизить потребность в вычислительных ресурсах и ускорить процесс обучения моделей.

Разработанный регуляризатор уже опубликован в открытом доступе для научного сообщества. Эксперты считают, что это достижение поможет компенсировать нехватку вычислительных мощностей в области разработки технологий искусственного интеллекта.

]]>