AlphaStar от DeepMind побеждают всех, кроме самых лучших людей, в стремительной научно-фантастической видеоигре.
Игроки научно-фантастической видеоигры StarCraft II столкнулись с необычным противником этим летом. Искусственный интеллект (ИИ), известный как AlphaStar, созданный ИИ-фирмой Google DeepMind, получил рейтинг гроссмейстера после того, как был выпущен на европейских серверах игры, и попал в топ 0,15% из 90 000 игроков региона. Результат, опубликованный 30 октября, показывает, что ИИ может соревноваться на самых высоких уровнях StarCraft II, чрезвычайно популярной онлайн-стратегии, в которой игроки соревнуются в режиме реального времени как одна из трех фракций - человеческие силы терранов или инопланетяне протоссы и зерги сражаются друг с другом в футуристической зоне боевых действий.
DeepMind ранее создавал ведущие мировые ИИ, играющие в шахматы и го. На этот раз он выбрал StarCraft II в качестве следующего эталона в поиске общего ИИ - машины, способной изучать или понимать любую задачу, которую могут выполнять люди, включая стратегическую сложности игры и быстрый темп.
Я не ожидал, что ИИ по сути станет сверхчеловеческим в этой области так быстро, а не в течение еще пары лет, как предполагалось.
Джон Додж, исследователь ИИ в Орегонском государственном университете в Корваллисе.
ИИ-самоучка еще лучше, чем в стратегической игре Go
В StarCraft II опытные игроки выполняют многозадачные задачи, управляя ресурсами, выполняя сложные боевые маневры и, в конечном итоге, обгоняя своих противников. Профессионалы играют в игру с головокружительной скоростью, совершая более 300 действий в минуту.
Методы машинного обучения, лежащие в основе ИИ DeepMind, основаны на искусственных нейронных сетях, которые учатся распознавать шаблоны из больших наборов данных, а не получают конкретные инструкции. DeepMind впервые столкнулся с AlphaStar против игроков высокого уровня в декабре 2018 года в серии лабораторных тестовых игр.
ИИ играл и побеждал профессиональных игроков. Но критики утверждали, что эти демонстрационные матчи не были честной борьбой, потому что у AlphaStar была сверхчеловеческая скорость и точность.
Прежде чем команда выпустила AlphaStar из лаборатории на европейские серверы StarCraft II, они ограничили рефлексы ИИ, чтобы сделать его более справедливым в соревновании.
В июле игроки получили уведомление о том, что они могут принять участие в шансе против ИИ. Чтобы держать игровой процесс слепым, DeepMind скрывал личность AlphaStar.
Мы хотели, чтобы это было похоже на слепой эксперимент, - говорит Дэвид Сильвер, который является со-руководителем проекта AlphaStar. - Мы действительно хотели играть в таких условиях и по-настоящему почувствовали: насколько хорошо эта группа людей выступает против нас.
Тренировка AlphaStar принесла свои плоды: она раздавила соперников с низким рейтингом и в итоге набрала 61 победу из 90 игр против высокопоставленных игроков.
Исключительная сложность
Сложность StarCraft II создает огромные проблемы для ИИ. В отличие от шахмат, в StarCraft II есть сотни фигур - солдат в армиях фракций - которые движутся одновременно в реальном времени, и не упорядоченно и пошагово.
В то время как шахматная фигура имеет ограниченное количество легальных ходов, у AlphaStar есть 1026 действий на выбор в любой момент. К тому же, StarCraft II, в отличие от шахмат, является игрой с несовершенной информацией - игроки часто не могут видеть, что делает их противник. Это делает его непредсказуемым.
В течение почти десятилетия исследователи сравнивали ИИ StarCraft и StarCraft II, играя друг против друга в ежегодном соревновании. Однако, в отличие от AlphaStar, большинство этих «ботов» полагались на жестко закодированные правила, а не на нейронные сети, которые могут самообучаться.
Ориол Виньялс, соруководитель проекта AlphaStar, был в команде Калифорнийского университета в Беркли, который выиграл первый конкурс в 2010 году.
Тогда я начинал думать, что, может быть, нам стоит просто заняться [машинным] обучением, но это было слишком рано
Виньялс.
В 2016 году Виньялс присоединился к DeepMind, где начал работать с ИИ, которые могли бы научиться играть в StarCraft II. AlphaStar начал свое обучение с того, что научился подражать множеству почти миллионов человеческих игр. Чтобы улучшить игру AlphaStar, DeepMind создал лигу, где версии ИИ соревновались друг с другом.
По словам Кая Арулкумарана, исследователя искусственного интеллекта в Imperial College London, этот метод имеет смысл для такой игры, как StarCraft II, в которой нет единой стратегии, а также для многих других реальных приложений ИИ.
Проницательные игроки
DeepMind также наложил ограничения на AlphaStar, чтобы убедиться, что ИИ действительно обыгрывает, а не просто обгоняет своих человеческих противников. Поскольку игра поощряет способность быстро реагировать, компьютер, который действует со сверхчеловеческой скоростью, может победить людей, не умеющих быстро принимать решения правильные решения.
Таким образом, DeepMind ограничил скорость рефлексов AlphaStar до скорости опытных игроков-людей.
Почему такого умного ИИ так легко обмануть?
После 27 дней тренировок AlphaStar вошел в топ 0,5% всех игроков на европейском сервере.
Однако после 50 игр DeepMind попал в ловушку. Некоторые более опытные игроки заметили, что три учетных записи пользователей на игровой платформе Battle.net играли в одинаковое количество игр StarCraft II за один и тот же период времени - три учетных записи, которые AlphaStar тайно использовал. При просмотре повторов этих матчей игроки заметили, что владелец аккаунта выполняет действия, которые отличаются чрезвычайной сложностью, то есть невозможными для выполнения человеком.
В ответ DeepMind начал использовать ряд уловок, чтобы держать слепое испытание и мешать игрокам заметить AlphaStar, например регулярно менять учетные записи. Финальная версия AlphaStar основывалась на совокупных 44 днях тренировок и часто сталкивалась с профессиональными игроками.
ИИ не смог побить лучшего игрока в мире, как в шахматах и гоу, но DeepMind считает, что его эталон достигнут, и говорит, что вызов StarCraft II сделан. Другие ученые ИИ еще не уверены, что AlphaStar может претендовать на полную победу. Дейв Черчилль, исследователь искусственного интеллекта в Мемориальном университете Ньюфаундленда в Сент-Джонсе, Канада, считает, что у AlphaStar все еще есть ряд слабых мест, таких как уязвимость к стратегиям, которых он раньше не видел.
AlphaStar очень впечатляет и определенно является самой мощной системой искусственного интеллекта для любой игры StarCraft на сегодняшний день. Тем не менее, StarCraft еще далеко не решен, а AlphaStar еще даже не близок к тому, чтобы играть на уровне чемпионов мира.
Дейв Черчилль.