Добавить в корзинуПозвонить
Найти в Дзене
РР-Новости

Ученые предсказали момент, когда ИИ может стать угрозой

Большие языковые модели, такие как ChatGPT, продемонстрировали впечатляющие способности в решении сложных математических задач, сдаче трудных экзаменов и даже в предложении советов по разрешению межличностных конфликтов. Однако вместе с тем генеративный искусственный интеллект порождает опасения, так как пользователи часто сталкиваются с ошибочной информацией и потенциально вредными рекомендациями. Исследователи из Университета Джорджа Вашингтона разработали математическую формулу, которая определяет, в какой момент полезный инструмент может превратиться в источник проблем. Это «переломный момент Джекила и Хайда» в поведении ИИ происходит, когда его внимание перегружено. Профессор Нил Джонсон объясняет, что в этот момент ИИ начинает выдавать искаженные или выдуманные данные, известные как галлюцинации. Формула, основанная на скалярных произведениях векторов, учитывает как содержание запросов, так и особенности обучения модели, что позволяет точно предсказать момент, когда происходит сб

Большие языковые модели, такие как ChatGPT, продемонстрировали впечатляющие способности в решении сложных математических задач, сдаче трудных экзаменов и даже в предложении советов по разрешению межличностных конфликтов. Однако вместе с тем генеративный искусственный интеллект порождает опасения, так как пользователи часто сталкиваются с ошибочной информацией и потенциально вредными рекомендациями.

Исследователи из Университета Джорджа Вашингтона разработали математическую формулу, которая определяет, в какой момент полезный инструмент может превратиться в источник проблем. Это «переломный момент Джекила и Хайда» в поведении ИИ происходит, когда его внимание перегружено. Профессор Нил Джонсон объясняет, что в этот момент ИИ начинает выдавать искаженные или выдуманные данные, известные как галлюцинации.

Формула, основанная на скалярных произведениях векторов, учитывает как содержание запросов, так и особенности обучения модели, что позволяет точно предсказать момент, когда происходит сбой. В исследовании также представлены рекомендации по профилактике таких сбоев, включая использование большего числа релевантных слов в запросах, чтобы избежать распыления внимания чат-бота. Важно отметить, что вежливость в диалоге с ИИ не влияет на качество его ответов.

Данное исследование может служить научной основой для последующих обсуждений среди общественности, политиков и компаний о потенциальных рисках использования ИИ в будущих приложениях, будь то в личной, медицинской или социальной сферах.

]]>