Российские учёные из Института искусственного интеллекта AIRI провели первое систематическое сравнение методов, которые должны повышать устойчивость языковых моделей к изменению форматирования текста. Оказалось, что даже незначительные правки, такие как добавление пробелов или смена пунктуации, могут существенно ухудшить качество ответов нейросети.
Известные языковые модели, например GPT-4, часто реагируют по-разному, если вопрос задан с другими отступами, лишними пробелами или изменённой пунктуацией. Для борьбы с этим ранее предлагались различные техники пост-обработки, такие как калибровка, которая корректирует склонность модели выбирать определённые ответы.
Учёные проанализировали эффективность этих подходов, тестируя их как в лабораторных условиях, так и в сценариях, приближенных к реальным. Важным выводом стало то, что ни один из существующих методов не решает проблему полностью. Даже передовые системы остаются чувствительными к малейшим изменениям в оформлении запроса.
В ходе работы исследователи также модифицировали один из известных методов, что позволило адаптировать его для современных языковых моделей, хотя раньше это было невозможно. Результаты исследования представлены в открытом репозитории с инструментами для оценки устойчивости ИИ к форматированию текста.
Это направление особенно критично для приложений, где цена ошибки высока. Неправильная трактовка запроса из-за опечатки может привести к серьёзным последствиям.