Всё больше новых и безумных проектов встречается в "дикой природе", где человек обучает машину различным фишкам и фокусам.
Учёные в Great Britan и разработчики ПО смогли научить нейросеть понимать текущее время на часах со стрелками. В ходе обучения компьютера они подготовили два набора данных:
- видеоролики с часами со стрелками и настоящие снимки часов
- искусственные и рисованные изображения часов со стрелками
По результату обучения, алгоритм научился отлично определять время по любым фото/изображениям, даже, если на них есть блики, или часы находятся под углом.
Исследование официально доступно и опубликовано здесь.
Используемым алгоритмом сложно удивить кого-то, кто хоть мало мальски шарит в технологиях. Так называемый OCR или более известный в народе как Abby Fine Reader уже десятками лет умеет оцифровывать и определять текст, а в google переводчик, для примера, можно навести камеру на текст и получить перевод "поверх" оригинального текста.
💾Алгоритм системы
Для цифровых часов легко применим тот же алгоритм, но, увы, для часов со стрелками он не подходит. Ведь информация представлена не в виде последовательных цифр. Британские разработчики считают, что научить ИИ определять время по часам со стрелками это важный шаг, который может быть полезен, например, для роботов- секретарёв или помощников. Ведь стрелочные часы очень популярны по сей день.
Допустим, что дано изображение I. Сначала алгоритм использует определитель объекта Φloc для получения кадрированного изображения Icrop. Затем мы передаем обрезанное изображение в сеть пространственного преобразователя Φstn, которая выводит матрицу гомографии H, которую затем можно использовать для деформации обрезанного изображения в канонический вид Icanonical. Наконец, каноническое изображение передается в сеть классификации Φcls для определения точного времени.
Под руководством Эндрю Зиссермана (Andrew Zisserman), сотрудники из Оксфордского университета добились больших успехов в определение времени "здесь и сейчас" в реальных условиях.
А вот несколько примеров успешных и неуспешных испытаний, проделанных нейросетью:
Помимо самого алгоритма, команда создала искусственный генератор изображений часов со стрелками, чтобы обучение машины проходило проще и быстрее.
В ПО генераторе возможно регулировать размер часов, угол их поворота, форму, количество стрелок и специально добавлять "артефакты" на изображения.
Вот такая непростая и интересная работа была проделана, а результат не заставил себя долго ждать и порадовал своих создателей.
