Как и почему «бредит» нейросеть?
Ответ на этот вопрос ищет студент института математики интеллектуальных систем КГУ Алексей Митрофанов. Он изучает галлюцинации ChatGPT-4. На студенческой научно-практической конференции он представит свой доклад.
— Галлюцинации в контексте ChatGPT-4 представляют собой ситуации, когда модель генерирует ответы, содержащие неверные или выдуманные факты, которых не было в обучающих данных. То есть в результате обработки запроса пользователей, модель может создавать информацию, не имеющую отношения к реальности или несоответствующую контексту, — рассказывает Алексей.
ChatGPT-4 был выбран для изучения, потому что наиболее широко распространен, и на его основе созданы подобные (пример: Gigachat,Bing AI).
Алексей вместе с научным руководителем Еленой Поляковой ставили задачу исследовать, почему происходит придумывание информации, а затем дать примеры, когда нейронная сеть на заданные вопросы начинает «бредить».
— Для начала я изучил, что из себя представляет данный чат-бот, для чего он предназначен, как его обучали отвечать на запросы пользователя. После этого пошло время тестов — я решил проверить различных ботов на основе ChatGPT-4, — поясняет студент.
По результатам практического изучения стало понятно, что в модели Gigachat предусмотрен ответ, указывающий на несовершенство данной разработки, кроме того, бот рекомендует дополнительно проверить информацию. В Bing AI ошибки в ответах случаются часто, но он не пытается исправиться в ответе, а в некоторых испытаниях даже дерзил.
— В процессе работы было увлекательным смотреть за ответами нейросети, анализировать степень осведомленности в той или иной сфере деятельности человека, — говорит Алексей.
Студент рекомендует не воспринимать нейросеть как совершенство, не доверять слепо информации, которую она выдает, а перепроверять и критически ее осмысливать.
Не теряйте головы и тем более «не выключайте» ее добровольно, иначе искусственный интеллект может увести вас не той дорогой, о которой вы мечтали.