МОСКВА, 4 июня. /ТАСС/. Российские математики предложили новый подход для быстрой дополнительной настройки систем искусственного интеллекта, в чьих рамках данные обрабатываются по группам, которые затем перемешиваются оптимальным образом. Новый подход требует меньше памяти и времени на обучение, чем существующие разработки, сообщила пресс-служба НИУ ВШЭ.
"Мы проверили метод в различных сценариях - от языковых и генеративных моделей до устойчивых сверточных сетей. В каждом из них он работал надежно и при меньших затратах ресурсов. Это подтверждает, что мы можем использовать метод для разных целей", - пояснил старший научный сотрудник Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ Айбек Аланов, чьи слова приводит пресс-служба вуза.
Разработка математиков позволяет с минимальными расходами времени и вычислительных ресурсов подстраивать "большие" нейросети для решения новых задач, на работу с которыми они изначально не были рассчитаны. Это дает возможность избежать длительного и затратного переобучения ИИ с нуля, но сохранить общее качество исходной версии.
Как правило, для этого сейчас используется методика донастройки нейросетей при помощи так называемых ортогональных матриц, специальных математических инструментов, позволяющих сохранить многие важные признаки исходной модели. В прошлом для получения ортогональных матриц нужно было пять-шесть матриц другого типа, что повышало расходы времени и ресурсов на донастройку системы ИИ.
Российские ученые разработали новую методику построения матриц, которая позволяет экономить время на их формировании за счет того, что алгоритм делит параметры матрицы на небольшие группы, обрабатывает каждую отдельно и перемешивает их между собой. Такая структура оказалась одновременно гибкой и компактной: она помогает модели точнее подстраиваться под задачу, но при этом требует меньше вычислений и памяти.
На базе этого метода построения матриц российские ученые создали новую методику донастройки нейросетей, после чего проверили ее работу на языковых моделях, а также системах генерации изображения и сверточных нейросетях. Во всех трех случаях разработка Аланова и его коллег превзошла популярные в этих областях решения, а также для ее работы потребовалось меньше времени и памяти. Все это, как надеются ученые, ускорит практическое внедрение созданного ими подхода.