Алекс Ван опубликовал разбор, в котором вывел основные вычислительные блоки трансформера — архитектуры современных языковых моделей — из одной задачи: сохранить информацию и затем извлечь её без лишних примесей. В его эксперименте при ключах из 64 чисел простейшее хранилище достигает условного предела примерно на 64 записях, а механизм внимания — примерно на 1,2 миллиона. Разница почти в 20 тысяч раз возникает благодаря тому, как хранилище отбирает нужное при чтении. Но эти числа требуют осторожного обращения: речь об искусственных записях, случайных ключах и конкретном критерии качества...