1 неделю назад
Контекстное окно нейросети: почему 10 страниц — это одно, а 1000 — уже проблема
Представь рабочий стол. Разложил 10 листов — видишь всё сразу, цепляешь взглядом каждую деталь. А теперь 1000. Теряешь нить. Путаешь данные. Забываешь, что лежало слева. Примерно так же устроено контекстное окно нейросети. И именно оно определяет, сколько текста модель способна «держать в голове» одновременно. Контекстное окно — это лимит на объём текста, который языковая модель видит и учитывает при генерации ответа. Всё, что за этим лимитом, она просто не получает на вход. Не забывает в человеческом смысле — а не видит...