Специалисты разработали инструмент, способный отсеивать ложные ответы больших языковых моделей. Новые алгоритмы автоматизируют проверку достоверности информации, которую выдают интеллектуальные ассистенты.
Проблема так называемых галлюцинаций — внешне убедительных, но фактически неверных ответов — давно преследует разработчиков нейросетей. Решение предложили учёные МГППУ. Они создали алгоритмы и программное обеспечение, которые позволяют оценивать корректность контента, генерируемого языковыми моделями, а также автоматизировать составление запросов под заданные аннотации.
Как пояснили в пресс-службе университета, система использует два ключевых алгоритма. Первый отвечает за подбор оптимального промпта (запроса), второй — за верификацию правдоподобности утверждений, сгенерированных ИИ.
Инновационность подхода заключается в математической формализации смысла. Тексты запросов и ответов помещаются в специальные метрические пространства, где расстояние между ними определяется через семантическое сходство. Количественная оценка смысловой близости позволяет применять к текстам методы статистического анализа, уходя от субъективного человеческого контроля.
Разработка ориентирована прежде всего на программистов и математиков, занятых в сфере искусственного интеллекта. Авторы полагают, что их инструмент позволит существенно повысить надёжность ИИ-ассистентов в тех областях, где критична точность фактов, — от медицины до юриспруденции.
Ранее сообщалось, что российский физиолог Умрюхин считает, что мозг остается активным до конца жизни человека.
________________
Подпишитесь на наш канал, ставьте лайки и оставляйте свои комментарии, этим вы поможете донести важную информацию до большего количества людей. А кнопка «Поддержать» — это способ сказать нам «спасибо».