Решил описать этапы создания программы для распознавания объектов в игре StarCraft 2, с использованием алгоритмов компьютерного зрения (CV).
Программа должна работать поверх, игры принимать на вход скриншот из игры, распознавать на ней объекты и на выходе выдавать название объекта и его координаты.
Пример скриншота из игры
Желаемый результат работы программы
Первый взгляд
При первом взгляде на игру видим, что у всех объектов в игре сверку есть индикатор здоровья, решив задачу поиска этих областей мы сможем упростить задачу от object decetion (когда вся картинка подается на вход сети и на выходе получаем области в который есть предполагаемые объекты) до простой классификации изображений (на вход сети подается изображение, на выходе получаем какого класса это изображение).
Поскольку объектов в игре очень много, для начала решено было взять для распознавания только объекты зданий и только за расу протосов, таким образом будем распознавать всего 16 объектов зданий.
Итак, будем распознавать следующие объекты:
Второй взгляд
При втором взгляде, выделим какие есть плюсы (облегчающие процесс) и минусы (усложняющие процесс).
Плюсы:
- Мы работаем с изображениями с экрана компьютера, они всегда одинаковых цветов, на них не влияет например время суток или освещение, как было бы если бы мы работали с фотографиями реального мира.
- Здания неподвижны
- Здания стоят примерно в одном ракурсе, нельзя повернуть здание например на 90 градусов вокруг своей оси.
Минусы:
- Здания хоть и неподвижны, однако некоторые из них имеют подвижные части, чтобы отобразить что в здании идет какой-то процесс (анимация движения)
- Здания хоть и стоят под одним и тем же углом, тем не менее этот угол автоматически меняется при перемещении камеры игроком
- Здание может быть частично перекрыто другим зданием или юнитами, или текстом
- Здания могут иметь различный фон, т.к. в игре есть много разных типов грунта, на которых может быть построено зданием, то получается и часть этого грунта попадает на изображения, что делает их разными
- Здания отличаются по размерам и форме, некоторые большие, некоторые меньше, значит нужно делать resize к какому-то одному размеру, чтобы подавать на вход сети одинаковые изображения.
- Некоторые здания являются модификациями других зданий, таким образом получается, что они очень похожи, но являются разными зданиями.
- Часть цветов здания отличаются в зависимости от цвета игрока (чтобы можно было отличить свои от чужих)
Несколько примеров сложностей:
Как видим сложностей гораздо больше, чем вещей упрощающих распознавание. Что ж, тем интереснее будет решать данную задачу.
В следующей статье опишу программу для поиска областей с индикаторами здоровья.
