То, что компьютерная программа играет в шахматы, причем даже лучше людей не является новостью. Но теперь искусственный интеллект впервые зарекомендовал себя в сложной стратегической игре в реальном времени. Благодаря сочетанию самостоятельной подготовки и развитию многоходвых комбинаций, ИИ «АльфаСтар» удалось достичь уровня гроссмейстера в онлайн-игре «Starcraft II». Его результаты в рейтинге превзошли результаты 99,8% всех игроков-людей, зарегистрированных на портале игры. Этот результат особенно интересен, потому что требования к искусственному интеллекту в этой игре приближаются к требованиям реальной повседневной жизни.
Искусственный интеллект и адаптивные алгоритмы уже используются во многих компьютерных приложениях. Кроме того, системы ИИ, такие как AlphaGo, AlphaZero или Pluribus, уже доказали, что могут справляться даже со сложными стратегическими играми, такими как шахматы, а также со сложными «блефовыми» карточными играми, такими как покер, - иногда даже лучше, чем профессиональные игроки. Как бы ни были впечатляющими показатели искусственного интеллекта во многих областях, эти программы по-прежнему сталкиваются с проблемами при взаимодействии с реальным миром и его бесчисленными непредсказуемыми событиями, например, когда речь идет об управлении автономными автомобилями. Потому что недостаточно изучить правила игры и стратегии - искусственный интеллект также должен думать творчески.
Стратегические игры в реальном времени наиболее подходящая среда для развития мышления ИИ подходящего для использования в реальном мире. В этих онлайн-играх игроки пытаются создать экономическую империю, завоевать и закрепить военное превосходство или управлять своей империей в общем «мире». Чтобы сделать это, игроки должны выполнить множество действий над своими персонажами, такие как строительство домов или исследование области, но с учетом развития и долгосрочной стратегии. Что еще хуже, каждый игрок видит только части игрового мира. Противники и их стратегии также не известны с самого начала. Такие игры являются отличной областью обучения искусственного интеллекта, потому что игроки должны использовать ограниченную информацию, которая постоянно меняется, причем непредсказуемо.
Чтобы выяснить, насколько хорошо система ИИ справляется с задачами таких стратегических игр в реальном времени, исследователи решили попробовать «на зуб» игру "Starcraft II". Эта онлайн-игра, является одной из самых популярных в области киберспорта и в нее играют тысячи профессиональных игроков. Каждый игрок может воплотить один из трех видов космической расы, каждый из которых имеет свои сильные стороны и навыки, и должен успешно выполнить определенные миссии посредством сбора ресурсов, торговли и стратегической войны. Сложность игры намного больше, чем в шахматах, потому что игроки одновременно контролируют сотни юнитов, и потому что, есть от десяти до 26 возможностей для каждого хода. Кроме того, игроки имеют меньше информации о своих оппонентах, чем в покере.
Для своего исследования исследователи использовали систему искусственного интеллекта под названием «AlphaStar», которая основана на нейронных сетях общего назначения, которые не специализируются на играх. Сначала программа изучила основные правила Starcraft II, а затем прошла обучение на основе записи данных, в которой записывались ходы и стратегии игроков-людей. Кроме того, AlphaStar, также учился путем усиления обучения, неоднократно играя против нескольких своих копий, а затем получая «награду» после успешного завершения миссии. Также важно: в отличие от более ранней формы AlphaStar. ИИ видит игровой мир таким же ограниченным как и обычные игроки и темп игры замедляется до почти человеческого масштаба. Для фактического теста производительности исследователи зарегистрировали AlphaStar под псевдонимом в Battle.net, лиге, в которой игроки классифицируются на основе их производительности в игре. Затем система ИИ играла в игры, в которых она играла роль всех трех космических рас.
Результат: AlphaStar достигла звания гроссмейстера со всеми видами космических рас "Starcraft II". Его результат превысил 99,8% всех зарегистрированных игроков. Это первая компьютерная программа, достигшая высочайшего уровня в профессионально играемом киберспорте. «AlphaStar достиг этого уровня с помощью нейронной сети и универсально применяемых алгоритмов обучения - это было невозможно всего десять лет назад. Некоторые из профессиональных игроков, с которыми конкурировал AlphaStar, также были весьма впечатлены: «AlphaStar - увлекательный и неортодоксальный игрок - с рефлексами и темпами лучших профессионалов, но стратегиями и стилем, которые полностью принадлежат ему.
Интересно, какой все-таки расе отдал свое предпочтение AlphaStar –Протосс, Зерг или все же Терран?