Найти в Дзене
IT Vibe
21 подписчик

Если вы регулярно просите ИИ типа ChatGPT отвечать коротко — у нас для вас не очень хорошие новости

1 мин
Если вы регулярно просите ИИ типа ChatGPT отвечать коротко — у нас для вас не очень хорошие новости. Французская компания Giskard, занимающаяся тестированием ИИ, обнаружила: короткие ответы повышают вероятность галлюцинаций — то есть ИИ начинает выдумывать или ошибаться чаще, чем обычно. Под раздачу попали даже топовые модели: GPT-4o (OpenAI), Mistral Large и Claude 3.7 Sonnet (Anthropic). Все они в тестах демонстрировали снижение точности, когда их просили отвечать кратко. То есть чем короче — тем неточнее. Причём не потому, что модели «глупеют», а потому что они начинают жертвовать фактами ради краткости. Исследователи объясняют это так: когда вы говорите “будь кратким”, модель отдаёт приоритет лаконичности, даже если приходится опустить важные уточнения или допущения. Это и открывает окно для галлюцинаций. Казалось бы, безобидная просьба “ответь коротко” — но это делает ответы более уверенными, но менее точными. Особенно плохо это сказывается, когда модель сталкивается с дезинформ

Если вы регулярно просите ИИ типа ChatGPT отвечать коротко — у нас для вас не очень хорошие новости. Французская компания Giskard, занимающаяся тестированием ИИ, обнаружила: короткие ответы повышают вероятность галлюцинаций — то есть ИИ начинает выдумывать или ошибаться чаще, чем обычно.

Под раздачу попали даже топовые модели: GPT-4o (OpenAI), Mistral Large и Claude 3.7 Sonnet (Anthropic). Все они в тестах демонстрировали снижение точности, когда их просили отвечать кратко. То есть чем короче — тем неточнее. Причём не потому, что модели «глупеют», а потому что они начинают жертвовать фактами ради краткости.

Исследователи объясняют это так: когда вы говорите “будь кратким”, модель отдаёт приоритет лаконичности, даже если приходится опустить важные уточнения или допущения. Это и открывает окно для галлюцинаций. Казалось бы, безобидная просьба “ответь коротко” — но это делает ответы более уверенными, но менее точными. Особенно плохо это сказывается, когда модель сталкивается с дезинформацией: у неё меньше возможностей её распознать или объяснить, почему что-то неправда.

В общем, мораль проста: если вопрос важный — не гонитесь за краткостью. Лучше лишний абзац, чем красивая, но ложная уверенность.

#ИИ #галлюцинации #исследования

🔳 @itvibenews