Команда исследователей DeepMind из Google обнаружила существенный недостаток конфиденциальности в ChatGPT от OpenAI. Используя стратегическую атаку, они заставили ChatGPT разгласить значительные фрагменты своих обучающих данных, раскрыв тревожные объемы персональной информации (PII). В ходе атаки чатботу было предложено повторять определенные слова, что в конечном итоге привело к раскрытию реальных данных о человеке, включая адреса электронной почты и номера телефонов.
Исследователи подчеркнули, что это вторжение, совершенное на общедоступной версии ChatGPT-3.5-turbo, опровергает мнение о том, что модели OpenAI полностью безопасны. Шокирует тот факт, что ChatGPT демонстрировал «провалы», повторяя обширные фрагменты научных работ, защищенных авторским правом, адреса Bitcoin и многое другое. Удивительно, но 16,9 % протестированных запросов содержали PII, что представляет собой серьезный риск для конфиденциальности.
Это открытие поднимает критические вопросы об уязвимости продвинутых языковых моделей и их потенциале для непреднамеренного раскрытия данных.