Российские ученые обнаружили, что использование в запросах знаков препинания и служебных частей речи повышает точность ответов искусственного интеллекта, сообщает корреспондент агентства «Минск-Новости» со ссылкой на ТАСС.
По словам сотрудника Института искусственного интеллекта AIRI Антона Разжигаева, глубокое понимание механизмов принятия решений языковыми моделями является ключом к улучшению их производительности и, что еще более важно, безопасности.
Исследователи выяснили, что современные языковые модели разбивают тексты на небольшие части, называемые токенами. Задача системы заключается в том, чтобы определить, какие из них наиболее важны для понимания текста. Однако до сих пор остается неясным, какие конкретно типы токенов имеют приоритетное значение для правильной работы ИИ.
Попытку разобраться в этом предприняли российские ученые, которые создали инструмент под названием LLM-микроскоп. Он позволил им визуализировать и проанализировать процессы, происходящие внутри различных языковых моделей, а также отследить промежуточные результаты их работы.
С помощью LLM-микроскопа А. Разжигаев и его коллеги изучили, как на работу ИИ влияют знаки препинания и артикли (в английском языке), которые обычно не имеют большого значения для человека. Оказалось, что именно они больше всего влияют на контекст итогового текста. Это открытие побудило ученых проверить, что произойдет при полном удалении знаков препинания и служебных частей речи.
Результаты экспериментов показали, что удаление этих элементов значительно снижает точность ответов ИИ — до 20 % на разных тестах. Стоит отметить, что этот эффект наблюдался даже при запросе к самой системе удалить наименее значимые токены.
