10,3 тыс подписчиков
🔥 Вероятно, ожидается прорыв в AI — придуман новый способ умножения матриц
В основе AI лежит матричное исчисление, которое только что пережило самый большой подъем более чем за десятилетие. Почти одновременно вышли две статьи, в которых математики объяснили, как повысить эффективность перемножения матриц, с помощью чего AI сможет быстрее обучаться и быстрее решать задачи.
Суть в том, что до относительно недавнего времени человечество не представляло иного способа умножения матриц, чем выполнением n³ операций (n — размерность матриц). В идеальном же для математиков мире умножение матриц хотелось совершать за n² операций. И к началу 70-х годов процесс поиска соответствующего алгоритма пошёл. Нетрудно догадаться, что к этому побудило распространение вычислительных машин.
Заявленный в новых статьях прорыв, совершённый в 2023 году, произошёл в результате обнаружения скрытых потерь в «лазерном методе» Арнольда Шёнхаге. В ноябре 2023 года Ран Дуань и Ренфэй Чжоу из Университета Цинхуа представили метод, который устранил неэффективность лазерного метода, установив новую верхнюю границу числа необходимых операций примерно на уровне n^2.371866. Это самый существенный прогресс в этой области с 2010 года.
Но всего 2 месяца спустя Вирджиния Василевски, Инчжан Сюй и Цзысюань Сюй из МТИ опубликовали вторую статью, в которой подробно описали ещё одну оптимизацию, которая снизила верхнюю границу количества операций до n^2.371552.
Безусловно, точное влияние на скорость работы моделей AI зависит от конкретной архитектуры системы ИИ и от того, насколько сильно задачи конкретной модели зависят от умножения матриц. Поэтому повышение эффективности алгоритмов будут сочетать с оптимизацией оборудования, чтобы полностью реализовать потенциальный прирост скорости.
И по мере того, как улучшения в алгоритмических методах будут накапливаться с течением времени, искусственный интеллект будет становиться быстрее — это факт.
1 минута
11 марта 2024