Миллион токенов и сломанный R2D2
Есть у нас, управленцев, одна опасная фантазия. Звучит заманчиво: «Сейчас я загружу в нейросеть вообще всё — пусть разбирается».
Формально мы правы. Контекст в топовых моделях стал миллион токенов. Это примерно как если бы сотрудник прочитал «Войну и мир», три должностные инструкции и бухгалтерский баланс. Ну теперь-то он точно ответит на любой вопрос?
Нет. И это не моя догадка, а математика.
Иголка тонет в сене
Есть свежее исследование (Claude видимо является бенефициаром😂). Суть простая: чем больше «мусора» в контексте, тем глупее ответ. Мусор — это не спам, это наши родные вводные шапки приказов, общие слова из регламентов и прочая бюрократическая поэзия.
Модель не глупеет. Она просто начинает жонглировать штампами и теряет суть. Мы получаем идеальный русский язык и ноль смысла.
Парадокс: без контекста нейросеть не знает специфики бизнеса. С контекстом — плывёт.
Что мы сделали
Внедрили RAG. Звучит как ругательство, но смысл простой: наша платформа не пихает в запрос всё подряд. Она «гуглит» внутри загруженных нами документов.
Вот живой кейс. На станке R2D2 загорается Error 1132. Оператор пишет вопрос обычным языком. Платформа:
1. Находит в техдокументации нужный параграф.
2. Выдаёт короткий ответ: «Смените оснастку».
3. Показывает ссылку на источник — проверяй, если не веришь.
Никакой магии. Просто точный поиск вместо заваливания модели гигабайтами текста.
Экономия времени на одной ошибке выглядит копеечной? Возможно. Но когда инструкция на испанском, а читать её всё равно никто не собирался — эффект умножается на скорость реакции всей линии.
И это только один процесс из тех, что мы помогаем уже автоматизировать.
Проверьте прямо сейчас: ваш сотрудник найдёт нужный регламент быстрее, чем за 2 минуты? «+» — да. «-» — нет.Напишите в комментариях.
👍 @chupritski 👍
