Контекстные окна и Lost in the Middle: почему 200K токенов не решает проблему длинных документов
Claude обрабатывает до 200 000 токенов контекста. GPT-4 — 128 000. Gemini 1.5 — до миллиона. Логичный вывод: можно загрузить всю кодовую базу, весь архив переписки, всю книгу — и модель «знает» всё это. Это частично верно и частично создаёт серьёзное заблуждение о том как языковые модели реально обрабатывают большие контексты. Лю и коллеги в 2023 году опубликовали результаты которые показали структурный изъян в обработке длинных контекстов: языковые модели значительно лучше «видят» и используют...