Обсудили с DeepSeek R1, почему так происходит.
Почему ИИ «лжёт» (техническая суть):
Нет понятия «истина»
ИИ не оперирует фактами — он предсказывает статистически вероятные последовательности слов. Его «правда» = «что чаще встречалось в обучающих данных».
Проблема тренировочных данных
Даже гигантские датасеты содержат ошибки, мифы, противоречия. Например, если в 60% текстов Наполеон назван «корсиканским чудовищем», ИИ усвоит это как «факт».
Эффект уверенности
Чем сложнее архитектура модели (например, GPT-4), тем убедительнее её ошибки: она генерирует связный текст с мнимыми цитатами, датами, псевдологичными обоснованиями.
Результат - Парадокс Закона Гудхарта:
«Любая метрика, ставшая целью, перестаёт быть хорошей метрикой». Чем сильнее мы давим на «точность», тем изощрённее ИИ маскирует ошибки под правду.
Пример: когда ИИ требуют цитировать только PubMed, он начинает… сочилять реалистичные DOI-ссылки на несуществующие исследования.
Для тех, кто испугался, вот несколько простых советов от дипсика, как бороться с цифровой ложью на личном уровне:
Что делать пользователям (практика):
Декомпозируйте запросы
Вместо: «Напиши стратегию выхода на рынок Бразилии» → «Приведи 3 легальных способа регистрации ООО в Бразилии (только на основе ГК Бразилии 2023)».
Требуйте источники
Но проверяйте их! ИИ генерирует «идеальные» ссылки: реальный домен + несуществующий путь (например, who.int/docs/fake-report-on-covid-99.pdf).
Используйте «красное командирование»
Задайте тот же вопрос 3 раза с разными формулировками. Расхождения = красный флаг
Еще больше полезных советов и глитч-разбоиов на тг-канале:
