Алгоритмы обучения с подкреплением типа AlphaZero демонстрируют выдающиеся результаты в сложных играх, таких как шахматы, сёги и го. Однако новое исследование показало, что они сталкиваются с фундаментальными трудностями при переходе к иному классу задач — так называемым «беспристрастным» играм.
В играх вроде шахмат игроки управляют своими собственными фигурами. В беспристрастных играх, таких как игра «Ним», игроки используют общие фишки, а стратегия основывается на абстрактных математических принципах, в частности — на функции четности. Игроку нужно определять, является ли сумма элементов в кучках четной или нечетной, чтобы выбрать выигрышный ход.
Иллюстрация ИИ Copilot Designer//DALL·E 3
Как выяснили исследователи, нейронные сети, лежащие в основе AlphaZero, не способны эффективно выучить эту логику. В отличие от шахмат, где стратегия строится на накопленном опыте и распознавании визуальных паттернов, в «Ниме» даже незначительное изменение состояния доски может полностью поменять верный ход. Стандартные нейросети пытаются найти статистические закономерности там, где работает жесткая, нелинейная математическая функция, и в результате не могут обобщить полученный опыт.
Эта неспособность моделировать функции четности приводит к критическому сбою в процессе самообучения. Вместо того чтобы выработать стратегию для всей игры, алгоритм начинает заниматься «зазубриванием» состояний, с которыми он уже сталкивался в ходе тренировок.
Исследование показало, что при увеличении размера игрового поля точность предсказаний AlphaZero падает. На больших досках алгоритм перестает отличать выигрышные ходы от проигрышных, демонстрируя результаты, едва превосходящие случайное угадывание. Авторы работы заключают, что простая корректировка параметров обучения ИИ не поможет преодолеть этот барьер. Проблема кроется в самой архитектуре нейронных сетей, которая ориентирована на аппроксимацию данных, а не на прямое логическое вычисление.
Для достижения экспертного уровня в комбинаторных задачах будущего ИИ потребуется интеграция с символьными методами. Это подразумевает создание гибридных моделей, где нейронные сети (отвечающие за интуитивный поиск паттернов) работают в паре с модулями жесткого логического вывода. Только объединив статистический подход с точными алгоритмическими правилами, можно будет создать системы, способные решать задачи, требующие глубокой абстрактной логики.
Читайте далее на сайте
Илон Маск предрек отмену обязательной работы в ближайшие 20 лет
Google обновила приложение Maps при помощи дополнительных функций искусственного интеллекта