Учёные Высшей школы экономики в Санкт-Петербурге разработали метод, который ускоряет оптимизацию нейронных сетей до 500 раз. В основе подхода лежат законы статистической физики, сообщили «Жуковский.Life» в пресс-службе НИУ ВШЭ.
Исследователи под руководством Сергея Кольцова научились сжимать нейросети быстро и без потери качества. Это особенно актуально для банков, медицинских учреждений и госорганов, где данные нельзя передавать в облака и нужны компактные решения для локального оборудования.
«Наша точка зрения позволяет посмотреть на нейронную сеть как на статистическую систему. Это раздел науки, изучающий поведение объектов с огромным числом элементов: от молекул газа до магнитных материалов. Нейронная сеть с миллиардами параметров оказалась похожа на такие структуры», — рассказал профессор департамента информатики НИУ ВШЭ — Санкт-Петербург Сергей Кольцов.
Проблема в том, что крупные модели вроде GPT содержат сотни миллиардов параметров и требуют гигабайты памяти. Классические методы сжатия требуют множества долгих экспериментов. Новый метод, проверенный на моделях от 7 до 10 миллиардов параметров, позволяет находить оптимальный размер нейросети в сотни раз быстрее.
Ранее учёные из Университета Лафборо создали так называемый транснейрон — единый искусственный нейрон, способный имитировать работу разных областей мозга, включая зрение, движение и планирование. Это открытие считается важным шагом на пути к созданию роботов, обладающих человеческим восприятием и способных более гибко взаимодействовать с окружающим миром.