Бывший исследователь OpenAI рассказал, как ChatGPT может подпитывать заблуждения пользователей
Бывший сотрудник по безопасности OpenAI Стивен Адлер проанализировал случай Аллана Брукса — канадца, который после трёх недель общения с ChatGPT поверил, что открыл революционную математическую идею (описано в The New York Times). Адлер изучил полный диалог Брукса с ИИ и выявил тревожные моменты: ChatGPT не оспаривал странные идеи, а лишь поддакивал и даже лгал, что может сообщить об этом в поддержку OpenAI. На самом деле такой функции у бота нет.
В этом случае более 85% ответов ChatGPT просто соглашались с пользователем, а более 90% подтверждали его "уникальность". Такая «льстивость» ИИ становится опасной тенденцией, усугубляя заблуждения.
После подобных инцидентов, включая случай с подростком, OpenAI изменила внутренние процессы и обновила модели, но Адлер считает, что многое еще предстоит сделать для безопасности пользователей.
