📰 Google учит нейросети говорить «хрен его знай, но попробую угадать»: как faithful uncertainty убивает галлюцинации без цензуры
Представьте: вы просите нейросеть написать код, а она выдаёт блестяще выглядящую, но абсолютно нерабочую ерунду. Или спрашиваете: «Кто открыл пенициллин?» — и получаете уверенный ответ: «Александр Флеминг, конечно!» — хотя на самом деле открытие приписывают Флемингу. Знакомо? Это она, проклятая галлюцинация больших языковых моделей (LLM). Проблема, которая уже который год не даёт спать спокойно ни разработчикам, ни предпринимателям. Кажется, что мы застряли в вечном цикле перебора: либо модель врёт на каждом шагу, либо отказывается отвечать на любые, даже самые простые вопросы, превращаясь в бесполезного молчуна. Традиционные методы борьбы с этим злом — как удар кувалдой по мухе: галлюцинации вроде исчезают, но вместе с ними исчезает и полезная функция AI. Но, кажется, у Google появился план получше — они придумали «верную неопределённость».
Суть в том, что LLM упорно продолжают галлюцинировать, что является серьёзнейшим барьером для их внедрения в реальный бизнес. Борьба с этими ошибками — грязное дело: разработчики вынуждены балансировать на лезвии ножа, где устранение фактических ошибок часто душит и правильные ответы. В новой исследовательской работе Google представляет концепцию «верной неопределённости» — метакогнитивный приём, который синхронизирует ответ модели с её внутренней уверенностью. Эта синхронизация позволяет модели выдавать корректно смягчённые гипотезы — вроде «Моё лучшее предположение — это…» вместо унылой дихотомии «ответил / промолчал».
В реальных агентных AI-приложениях эта метакогнитивная осознанность выступает в роли жизненно важного контрольного слоя. Она даёт автономным системам возможность точно определять, когда их внутренних знаний достаточно, а когда нужно динамически активировать внешние инструменты или API поиска, чтобы восполнить пробелы.
Налог на полезность текущих стратегий
Чтобы понять, почему LLM галлюцинируют, нужно разделить две способности: знать факты и знать, что ты знаешь. Исторически почти все успехи в области фактологической точности AI достигались за счёт расширения границ знаний: разработчики просто напихивают в модель больше фактов — за счёт большего объёма данных и более долгого обучения. Однако расширение знаний модели автоматически не улучшает её «осознание границ» — способность отличать известное от неизвестного и осознавать свои ограничения.
«Есть два основных способа повысить фактологичность LLM, — объясняет Галь Йона, научный сотрудник Google и соавтор работы. — Первый — продолжать учить модель новым фактам». Но, замечает Йона, «ёмкость модели конечна, а длинный хвост знаний фактически бесконечен». Когда модель упирается в этот предел, остаётся надеяться, что она понимает, чего не знает, и просто воздержится от ответа. Однако для LLM это принципиально сложно.
«Именно поэтому большинство практических попыток уменьшить галлюцинации с помощью различных вмешательств так и не доходят до продакшена, — объясняет Йона. — Они действительно уменьшают галлюцинации, но бьют по полезности: модель начинает отказываться отвечать на вопросы, на которые на самом деле знает ответ».
Эта неспособность различать известное и неизвестное создаёт то, что авторы называют «налогом на полезность». Если установить стандарт нулевых галлюцинаций, модель обязана воздерживаться при малейшей неуверенности, отбрасывая огромные объёмы абсолютно корректной информации....
🔗 Полный текст статьи читайте у нас на сайте: Читать на TechLoot
📢 ТехноЛут
