Шикарная хоть и сложная презентация Григория Сапунова (ex-Яндекс, сейчас Intento) о текущем состоянии НЕ-трансформерных нейросетей.
Впрочем, слайд с выводами понятен каждому.
— На малом размере сетей (до 12 миллиардов параметров) нетрансформеры сопоставимы по качеству с трансформерами.
— На реально больших сетях это пока не так.
— Но Григорий ожидает, что за год и в больших сетях случатся изменения.
Для простого пользователя развитие "нетрансформеров" будет означать радикально более быстрое обучение новых сетей и соответственно ускорение новых экспериментов и прогресса (да, есть ещё куда).
—
GPT o1-preview и o1-mini уже доступны в c.aiacademy.me
Около минуты
16 сентября