Команда исследователей из проекта Google Deep Mind London научила анимированных игроков играть в реалистичную версию футбола. Ученые описали процесс обучения игроков: сначала двигаться и работать с мячом учится один футболист, потом они играют в команде. Команда DeepMind планирует принять участие в чемпионате роботов и цифровых моделей RoboCup.
Уже давно существует чемпионат по футболу RoboCup, в котором есть несколько лиг. Есть реальная взрослая лига - в ней играют роботы ростом со взрослого человека. Есть реальная детская лига - в ней играют роботы небольших размеров. Мы писали про команду Физтеха, которая стала в 2021 году чемпионом мира в детской лиге. А есть и соревнование цифровых симуляций. Команда Google DeepMind собирается попробовать свои силы, как раз в соревнованиях цифровых моделей.
Как научиться играть в футбол
У DeepMind уже стало доброй традицией не сообщать своим моделям правила игры, в которую они будут играть. Так было и с шахматами и с го. Нейросеть AlphaZero поняла правила игры, просто просматривая чужие шахматные партии.
Примерно так учатся и люди. Наверно, никто не вспомнит откуда он знает футбольные правила. Просто в детстве ты выходишь на поле и начинаешь играть. А старший товарищ буквально с первого раза (это и есть обучение по прецеденту, как говорят специалисты по ИИ) объясняет тебе, что мяч нельзя хватать руками. Обычно одного урока хватает на всю жизнь. А остальное - все постепенно.
Цифровым игрокам DeepMind было труднее. Сначала им надо было научиться ходить, бегать и бить по мячу. Но они прекрасно справились. На каждом новом уровне ИИ смотрел видео с реальными футболистами. Это позволило не только изучить самые основы игры в футбол, но и имитировать движения профессиональных спортсменов, настоящих мастеров.
Игра в пас
Как только анимированные игроки научились играть по одиночке, состоялся первый матч - один на один. По мере улучшения навыков игроков команды стали больше. Самым важным шагом было появление в команде второго игрока. Моделям нужно было научиться играть в пас. И они это освоили. По мере того, как игроки учились, команды росли, пока на поле не вышли полные составы.
Результаты, достигнутые исследователями, впечатляют. Действие похоже на компьютерную игру, но оно более реалистично, поскольку игроки принимают решения самостоятельно прямо на поле. Хотя, как признают исследователи, правила пока упрощены. Например, фолы не фиксируются, а вокруг поля есть стенка, от которой отскакивает мяч. Он не может выкатиться за пределы поля.
Эксперты уже обратили внимание, что модели начинают этим свойством поля пользоваться, - они играют в пас "от стенки", как когда-то в дворовом футболе играли в хоккейной коробке. Конечно, это не тот навык, который модельным игрокам пригодится в "настоящем" футболе, но то, как они приспосабливаются и учатся, впечатляет.
Исследователи отмечают, что для обучения игроков потребовалось много времени. Это может помешать перенести технологии на реальных роботов.
На демо, которым поделилась DeepMind, проходит матч команд двое на двое без вратарей. В этой игре есть моменты, которые могут доставить удовольствие ценителям и знатокам футбола. Например, когда игрок отбрасывает мяч партнеру пяткой, а тот выходит к воротам и забивает.