3026 подписчиков
Гугловское семейство нейросетей AlphaZero, известное своей игровой направленностью (модель AlphaGo обыграла лучших игроков в Го, AlphaStar - в Starcraft) принялось за научные задачи, работая над ними в игровом формате и уже побило рекорд математика-человека.
AlphaZero удалось найти алгоритм перемножения матриц, который превзошел по эффективности метод, предложенный немецким математиком Штрассеном в 1969 году. Перемножая две матрицы 4х4 Штрассен уложился в 49 шагов. Гугловская нейросеть AlphaTensor управилась за 47 шагов, играя в специально созданную игру, цель которой - наиболее эффективное перемножение матриц. Обычный «школьный» подход - 64 действия, но задачу эту, в принципе, можно решить огромным количеством методов. Только для матриц 4х4 существует больше 14 000 вариантов решения.
Важно, что это не абстрактная математическая задача. Операции над матрицами есть в большом количестве вычислительных и инженерных задач, а самое интересное — это фактически основа машинного обучения, работы все тех же нейросетей (там операции проводят над тензорами, а это, фактически, многомерные матрицы). Когда перед AlphaTensor поставили задачу приближенную к реальности - оптимизировать перемножение матриц на графических ускорителях Nvidia V100 и процессорах Google TPU (а именно на таком железе и работают большие машинные модели), нейросеть нашла алгоритмы, которые проводят вычисления на 10-20% быстрее.
Это не первый подход AlphaZero к научно-игровому снаряду. Год назад AlphaFold, еще одна модель семейства, была призвана лучшим инструментом для предсказания пространственного свертывания сложных белков . На решение такой задачи прямым перебором в случае с молекулой из 200 оснований потребовались бы миллиарды лет.
༼つ◕_◕༽つ @geekorama
1 минута
10 октября 2022
1318 читали