Хорошо и давно известно явление overconfidence bias в сенсорных задачах: люди полагаются на внешние сигналы (цена, бренд, престиж), а когда

20 февраля20 фев

1 мин

их убирают, то точность падает до случайной, хотя люди по-прежнему уверенно выносят приговоры. Явление универсально — будь то отличие Pepsi от Coca-Cola в слепых тестах или отличие на слух скрипок “великих мастеров” от современных инструментов (в том числе — знаменитыми скрипачами). В мире ИИ-генеративного контента эта самоуверенность расцвела пышным цветом; люди в массе своей очень уверены, что легко и надежно отличат генеративный контекст (текст, музыку, видео, изображения) от созданных человеком (или фотокамерой). Вот свежая работа на эту тему, касающаяся особо важной и чувствительной области: лица настоящие и лица сгенерированные. Результат предсказуем: the average participant’s ability to correctly identify AI-generated faces was barely above chance levels. Но при этом тщательный анализ выявил, что некоторые люди все-таки справляются несколько лучше остальных, хотя пока непонятно почему. Понятных выводов как минимум два: 1. Всем нам надо быть поскромней в оценке собственных способ

Хорошо и давно известно явление overconfidence bias в сенсорных задачах: люди полагаются на внешние сигналы (цена, бренд, престиж), а когда их убирают, то точность падает до случайной, хотя люди по-прежнему уверенно выносят приговоры. Явление универсально — будь то отличие Pepsi от Coca-Cola в слепых тестах или отличие на слух скрипок “великих мастеров” от современных инструментов (в том числе — знаменитыми скрипачами).

В мире ИИ-генеративного контента эта самоуверенность расцвела пышным цветом; люди в массе своей очень уверены, что легко и надежно отличат генеративный контекст (текст, музыку, видео, изображения) от созданных человеком (или фотокамерой). Вот свежая работа на эту тему, касающаяся особо важной и чувствительной области: лица настоящие и лица сгенерированные. Результат предсказуем: the average participant’s ability to correctly identify AI-generated faces was barely above chance levels. Но при этом тщательный анализ выявил, что некоторые люди все-таки справляются несколько лучше остальных, хотя пока непонятно почему.

Понятных выводов как минимум два:

1. Всем нам надо быть поскромней в оценке собственных способностей видеть дипфейки (особенно если лица генерились в профессиональных инструментах, а не в бесплатных массовых чатиках). Можно легко попасть впросак, и иногда это будет больно — нам самим или другим людям.

2. Разработчикам генеративных моделей полезно обратить внимание на тех суперчувствительных людей, которые лучше прочих решают задачу атрибуции и усовершенствовать модели с учетом пока непонятных паттернов, на которые реагируют “super AI-face-detectors”.

https://scienmag.com/study-reveals-people-overestimate-their-ability-to-identify-ai-generated-faces/

(Про знаменитый (и неоднократно повторенный) эксперимент со скрипками, где опытнейшие скрипачи в слепом тесте предпочли современные скрипки скрипкам Страдивари можно вот здесь почитать - https://www.thestrad.com/lutherie/blind-tested-soloists-unable-to-tell-stradivarius-violins-from-modern-instruments/994.article , про “парадокс Pepsi” знает любой грамотный маркетолог)