Как устроена память нейросетей: от пары букв до всего «Гарри Поттера»

В быту искусственный интеллект нередко приравнивают к нейронным сетям, хотя под ИИ подразумеваются разные технологии, способные решать задачи, которые традиционно решает человек.РБК Тренды
У каждой нейросети свои лимиты: например, GPT-4 способен работать с текстами длиной в 32 тыс. токенов, то есть около 24 тыс. английских слов или 50 страниц (в версии Turbo — до 300 страниц).РБК Тренды
Как человек не весь день помнит, во сколько поставил утром вариться кашу, так и нейросеть, скажем, при переводе, запоминает последние фразы лишь на секунды — чтобы логичнее перевести следующие предложения.РБК Тренды
Важно понимать, что большие языковые модели способны решать новые задачи на основе демонстраций или инструкций без традиционного обучения, требующего обновления параметров сети (так называемый in-context learning).РБК Тренды