В России создали систему для проверки ИИ на наличие галлюцинаций

Специалисты факультета «Информационные технологии» Московского государственного психолого-педагогического университета разработали систему на основе искусственного интеллекта для проверки ответов других нейросетей на наличие галлюцинаций.

По словам ученых, их программа способна оценивать правдоподобность тезисов, выдаваемых ИИ вроде ChatGPT, который иногда может предоставлять выдуманные, но внешне правдоподобные ответы, передает Газета.Ru.

Принцип работы новой системы строится на алгоритме маятника. Сначала формируется цепочка высказываний, каждое из которых поочередно подтверждает или опровергает исходный тезис по заданному правилу, а каждое новое высказывание генерирует интеллектуальный ассистент как опровержение предыдущего, оставаясь в той же тематической области и сохраняя ключевые понятия.

В результате система создает два набора текстов: одни поддерживают исходный тезис, другие – его опровергают. Затем анализируется согласованность этих множеств: считается, что более согласованный набор связан с корректной позицией. Такой метод особенно полезен для гуманитарных наук, где многие понятия неоднозначны и прямой проверки корректности утверждения не существует.

Разработка уже успешно прошла тестирование на примере текстов психологического содержания. Ученые отмечают, что подобный анализ структуры аргументации может стать важным инструментом для выявления ошибок ИИ в сложных контекстах, где традиционные методы проверки не работают.

Ранее сообщалось, что искусственный интеллект впервые представил трактовку катренов Нострадамуса, указывающую на ключевую роль России в мире и возможные перемены в Европе.

В понедельник бывший вице-премьер и министр финансов РФ Алексей Кудрин сообщил, что в ближайшие годы ожидается масштабный прорыв в цифровых технологиях и искусственном интеллекте, который изменит привычный ход развития отрасли.