Ученые разработали роботизированный датчик, который распознает шрифт Брайля в два раза быстрее, чем большинство людей. Для этого он использует не только необычные тактильные сенсоры, но и высокоэффектиуню нейросеть.
Робототехника активно развивается, и задачи, которые стоят перед ней, требуют создавать алгоритмы, наделенные некоторыми свойствами человеческого организма. Например, для автоматизации доставки нужно улучшать способность роботов ориентироваться в пространстве. А чтобы осваивать ресурсы океанов, необходимо научить роботов проводить «тактильное зондирование», то есть определять объекты с помощью прикоснований. Ученые уже разработали «магнитную кожу», которая позволяет это делать: с ее помощью алгоритм способен как минимум различать одушевленные и неодушевленные предметы.
Благодаря чувствительности пальцев человек получает огромное количество информации об окружающем мире. Мягкость кожи при этом позволяет регулировать взаимодействие со средой: например, силу, с которой люди сжимают предметы. Создать технологию, у которой будут оба этих свойства одновременно, сложно. Однако ученым из Кембриджского университета (Влеикобритания) удалось это сделать на высоком уровне.
В статье, которую опубликовал журнал IEEE Robotics and Automation Letters, исследователи описали роботизированный датчик, который распознает шрифт Брайля точнее и быстрее аналогов. Его предшественники читали по одной букве и отрывались от поверхности после каждого символа — люди воспринимают текст на Брайле не так. Новая технология работает со шрифтом почти как человек, но делает это в два раза быстрее. Для распознавания шрифта Брайля использовали нейросетевую модель YOLO v8, относительно нетребовательную к вычислительным ресурсам.
По словам ученых, робот обрабатывает информацию с камеры и сенсорных датчиков одновременно, но когда он двигается, то изображение размывается и распознать буквы становится трудно. Чтобы избежать этой проблемы, исследователи обучили модель на искусственно размытых текстах, которые написаны шрифтом Брайля. Благодаря технологии компьютерного зрения алгоритм смог обнаруживать и классифицировать каждый символ.
Тестировали получившегося робота, быстро перемещая по строкам текста на Брайле. Датчик считывал 315 слов в минуту с точностью 87%. Это в два раза быстрее большинства людей, которые понимают шрифт, и почти с таким же количеством ошибок. Ученые отметили, что при использовании искусственного размытия такой результат можно считать удивительным.
Изначально технология не задумывалась как вспомогательная: чтение шрифта Брайля — просто эффективный способ протестировать чувствительность датчика. Подобные разработки полезны, например, для протезов с искусственной кожей, а также для приложений, которые определяют текстуру поверхности. Тем не менее итоговый алгоритм может стать помощником для слабовидящих людей: ученым удалось достичь баланса скорости и точности, показатели которых близки к человеческим.