Компания DeepMind уже достаточно давно пытается научить свой ИИ, AlphaStar, игре в Starcraft II и даже объявила о своем намерении выпустить несколько агентов AlphaStar на просторы Battle.net'a для тренировок против обычных пользователей. Надо сказать, что эксперимент оказался достаточно удачным, и ИИ удалось добраться до Грандмастера всеми тремя расами. Ну а разработчики поспешили поделиться с общественностью новыми методиками обучения и некоторыми интересными подробностями, а также выложили реплеи рейтинговых игр.
Отличия текущей версии ИИ от прошлых:
- AlphaStar теперь имеет все те же ограничения, что и человек — взгляд на мир с помощью игровой камеры и жесткий лимит на частоту действий (разработанный при помощи профессионала Дарио "TLO” Вунча)
- AlphaStar теперь может играть 1х1 матчи против и за Протоссов, Терранов и Зергов — все три расы, представленные в Starcraft II. Каждая из них использует единую нейронную сеть.
- Тренировки были полностью автоматизированы и использовали агентов, прошедших обучение под наблюдением.
- AlphaStar играла на официальных серверах Battle.net, используя те же карты и условия, что и люди. Все реплеи матчей можно найти здесь.
У текущей версии AlphaStar есть огромное количество вариантов действий в каждый момент времени, поэтому выработка правильных стратегий в такой ситуации является крайне сложной задачей без некоторых базовых знаний. Поэтому на начальном этапе AlphaStar играла против себя, используя имитацию стратегий игроков и пытаясь выработать свой собственный стиль.
Однако игра "против себя" имеет один серьезный недостаток — забывчивость. Агент, играющий против себя, будет развиваться, однако он также может "забыть", как побеждать свою прошлую версию. Лучше всего это можно увидеть при наблюдении за игрой в "камень-ножницы-бумагу". В определенный момент времени ИИ может решить использовать камень чаще, чем все остальные опции. В ходе развития новая версия агента попробует переключиться на бумагу, чтобы побеждать камень, а потом и ножницы, пока не вернется в начальную точку. Из-за этого игра "против себя" может создавать ситуации, когда развитии ИИ застопориться и он будет ходить по кругу.
Чтобы избежать подобного развития событий на определенном этапе развития AlphaStar разработчики решили попробовать нечто новое. Они собрали что-то вроде Лиги, где одна группа агентов старалась выиграть против всех возможных стратегий, а другая группа была заточена на нахождение и эксплуатировании слабостей в стратегиях первой группы. Таким образом агенты первой группы учились противостоять самым разным контр-мерам, а их стратегии становились стабильнее и разнообразнее.
В конечном итоге все это привело к тому, что несмотря на многочисленные ограничения AlphaStar добралась до Грандмастера всеми тремя расами и обошла 98% всех игроков, доказав силу ИИ даже в настолько сложной и многогранной игре, как Starcraft II.