В Новосибирске представили первую версию интеллектуального помощника для слабовидящих и незрячих людей. Устройство разрабатывают на базе больших языковых моделей и технологий искусственного интеллекта (ИИ). Его работу продемонстрировали во время визита зампреда правительства РФ Дмитрия Григоренко в Новосибирский госуниверситет.
Команду проекта составили специалисты центра ИИ НГУ и филиала МНТК «Микрохирургия глаза». Их цель — создать компактное носимое устройство, которое сможет помогать человеку ориентироваться в пространстве при помощи слуха.
Принцип работы системы прост: видеокамера фиксирует окружающую обстановку, изображение передается в портативный компьютер, который преобразует его в текстовое описание. Затем описание озвучивается через голосового помощника и передается пользователю в наушники.
Созданная модель уже способна распознавать надписи, указывать на препятствия и давать словесные описания предметов и помещений. В будущем планируется добавить возможность задавать вопросы об объектах в поле зрения и получать подробные ответы.
Разработка опирается на мультимодальную языковую модель, что позволяет добиться высокой точности описания. По словам ученых, это может стать более доступной альтернативой сложным и дорогостоящим медицинским имплантам.
Прототип устройства обещают подготовить к концу 2025 года. Он будет состоять из 16-ядерного одноплатного компьютера, видеокамеры и наушников. Общий вес системы не превысит одного килограмма.
Материалы новостного характера нельзя приравнивать к назначению врача. Перед принятием решения посоветуйтесь со специалистом.