Microsoft LongNet, в теории, может обрабатывать в 250 000 раз больше токенов, чем ChatGPT
Языковая модель LongNet от Microsoft умеет «держать в уме» до миллиарда токенов по сравнению с 4096 токенами ChatGPT. Это около 750 000 000 слов или 2 000 000 страниц текста на английском языке.
LongNet достигает этого с помощью механизма, называемого расширенным вниманием, когда внимание между двумя токенами уменьшается экспоненциально по мере того, как они удаляются друг от друга.
В настоящее время, LongNet — лишь концепт. Ее способности еще предстоит подтвердить в будущих исследованиях.
—
@aioftheday — новости вокруг искусственного интеллекта
Около минуты
10 июля 2023