МГППУ создал ПО для выявления «галлюцинаций» у ИИ

Учёные МГППУ разработали алгоритмы и программное обеспечение для автоматического обнаружения ложных, но правдоподобных ответов у больших языковых моделей, что упростит работу промпт-инженеров.

Исследователи Московского государственного психолого-педагогического университета создали программные решения и алгоритмические методы для обнаружения так называемых «галлюцинаций» у крупных языковых моделей — ситуаций, когда система выдаёт убедительные, но фактически неверные сведения. Данная информация была распространена пресс-службой учебного заведения.

«Специалисты университета подготовили алгоритмы и программное обеспечение, которые дают возможность контролировать содержательную точность ответов интеллектуальных помощников, а также формировать запросы согласно предоставленному описанию ожидаемого результата, что автоматизирует труд промпт-инженеров», — проинформировали в пресс-службе вуза.

Для осуществления проверки языковых моделей научным коллективом были предложены два независимых алгоритма.

• Первый из них отвечает за формирование корректного запроса,
• в то время как второй анализирует степень достоверности полученных утверждений.

Новый метод базируется на концепции, согласно которой как пользовательские запросы, так и ответы системы рассматриваются в качестве объектов особых метрических пространств. Расстояние между текстовыми элементами в этих пространствах определяется через показатель семантического сходства. Как пояснили в университете, количественное измерение расхождений между текстами даёт возможность формализовать понятие «смысловой близости» и задействовать инструменты статистического анализа.

Разработчики полагают, что итоги их работы могут найти применение у специалистов в области программирования и математики, которые занимаются разработкой и эксплуатацией больших языковых моделей.

Подпишись на наш Телеграм