Проанализировав около 200 цитат из 20 разных публикаций, Центр цифровой журналистики Колумбийского университета обнаружил, что поиск ChatGPT сталкивается с трудностями при правильной атрибуции источников.
Исследователи попросили поиск ChatGPT найти источники каждой цитаты. Опрос показал, что некоторые ответы были правильно связаны с оригинальными онлайн-источниками, но у других были серьезные неточности. В частности, более трети запросов использовали сфабрикованные источники вместо того, чтобы уточнить, что правильный источник цитаты не был найден, или что чат-боту было запрещено его получить через файл robots.txt. Усложняя ситуацию, ChatGPT неверно атрибутировал статьи от партнерских публикаций и тех, с которыми отсутствуют действующие лицензионные соглашения с OpenAI, иногда даже плагиатя новостной контент.
Эти результаты не удивляют никого, кто провел какое-то время с такими чат-ботами, как ChatGPT, которые продолжают «галлюцинировать» и подавать смесь фактов и дезинформации. Запущенный в октябре, поиск ChatGPT обещает позволить пользователям искать в интернете «намного лучше, чем раньше», предлагая «быстрые, своевременные ответы с ссылками на релевантные веб-источники, которые раньше нужно было искать в поисковых системах».
Представитель OpenAI недооценил этот отчет, указывая на проблемы с методами тестирования. «Мы сотрудничали с партнерами, чтобы улучшить точность ссылок и учитывать предпочтения издателей, включая управление тем, как они отображаются в поиске, с помощью настройки OAI-SearchBot в их файлах robots.txt», - сказал представитель. «Мы будем продолжать улучшать результаты поиска».
Функция поиска ChatGPT от OpenAI собирает данные так же, как и Google или любая классическая поисковая система. Ее краулеры скачивают и индексируют контент со всего интернета, игнорируя сайты, которые блокируют краулеры с помощью файлов robots.txt. В результатах поиска ChatGPT предоставляет ссылки на соответствующие веб-источники, такие как новостные статьи и блоги, для дополнительного контекста.
Некоторые публикации, такие как The New York Times (которая подала в суд на OpenAI и Microsoft за нарушения авторских прав), отказались от сотрудничества. С многими другими, включая европейского медиагиганта Axel Springer (владельца Politico), у OpenAI есть коммерческие лицензионные соглашения, позволяющие ее веб-краулерам исследовать их обширные архивы журналистики.
Если у вас были какие-либо иллюзии относительно того, что результаты ChatGPT на 100% надежны или что ChatGPT может заменить традиционный веб-поиск, это ваш пробуждающий звонок. Я не утверждаю, что чат-боты не имеют полезности. Они могут быть полезны, но только как дополнительный инструмент в вашем арсенале. То, что вам не следует делать, это доверять поиску на базе ИИ для атрибуции источников или предоставления фактической информации. Если вы все же хотите использовать такой инструмент в вашем следующем проекте, обязательно проверяйте ответы, чтобы убедиться в их правильности (что, по сути, отменяет основное преимущество поиска, основанного на ИИ).
Если вам понравилась эта статья, подпишитесь, чтобы не пропустить еще много полезных статей!
Вы также можете читать меня в:
- Telegram: https://t.me/gergenshin
- Яндекс Дзен: https://dzen.ru/gergen
- Официальный сайт: https://www-genshin.ru