недавно вышла статья, которая для этого нашего AI несет очень много пользы, а именно 5% экономии на вычислениях
я думаю, что все в курсе, что весь ИИ - это по факту перемножение матриц, например, в архитектуре трансформер механизм внимания требует 5 матричных умножений на одну голову, плюс еще одно для полносвязного слоя; другие операции - это суммирование и нормализация, которые асимптотически пренебрежимы
ну так вот, авторы статьи с помощью RL перебрали возможные вариации представления умножения матриц и нашли ускоренный; графически он представлен на первой картинке, а на второй картинке сравнение количества вычислений с оптимальным алгоритмом - рекурсивным алгоритмом Штрассена (аШ); до размера 256 используется т.н. наивное умножение (как и в современных реализациях аШ), т.к. оно эффективнее на малых размерах, а дальше уже новонайденный алгоритм, дающий 5% преимущества перед аШ
P.S. на моей памяти это первая статья, где - судя по имени - наш соотечественник имеет аффилиацию китайского университета
