Французская компания Giskard выяснила: когда пользователя интересует краткий ответ, ИИ чаще выдаёт ошибку или придумывает несуществующий факт. Чем меньше слов — тем выше риск дезинформации.
Французская компания Giskard, которая тестирует ИИ на надёжность, провела исследование и обнаружила: если попросить нейросеть ответить кратко, она чаще ошибается. Причём это касается и самых современных моделей вроде GPT-4o, Claude 3.5 Sonnet и Mistral Large.
Исследователи обнаружили, что указание вроде «будь лаконичным» мешает ИИ объяснять суть, проверять вводные и опровергать ложные предпосылки. Чем меньше слов — тем больше компромиссов с точностью. Особенно часто это происходит в вопросах, где требуется анализ, нюансы или контекст.
Более того, современные модели, рассчитанные на диалог и «дружелюбный» стиль общения, вроде GPT-4o, могут ошибаться даже чаще старых версий. А приятный тон, как выяснилось, не гарантирует достоверность.
Важное наблюдение: модели реже поправляют собеседника, если тот уверен в себе. То есть если пользователь пишет неправду с уверенностью, нейросеть с большей вероятностью согласится — особенно в сжатом формате.
Авторы исследования предупреждают: безобидные на первый взгляд формулировки вроде «сделай покороче» могут существенно испортить результат. Особенно в задачах, где важна точность — от медицинских тем до программирования.
Читать далее:
Вселенная внутри черной дыры: наблюдения «Уэбба» подтверждают странную гипотезу
Испытания ракеты Starship Илона Маска вновь закончились взрывом в небе
Сразу четыре похожих на Землю планеты нашли у ближайшей одиночной звезды
Обложка: AI | studiogstock