Нейросеть «Алиса» в «Яндекс Браузере» для ПК, iOS и Android получила новую функцию, которая пригодится слабовидящим и незрячим пользователям.
По словам представителей компании, теперь «Алиса» может рассказать, что изображено на картинке, а по желанию пользователя ещё и даст более подробное описание. Благодаря этому незрячие и слабовидящие пользователи смогут воспринимать визуальный контент: иллюстрации в статьях, фотографии товаров в интернет-магазинах или изображения в соцсетях.
Послушать голосовое описание можно с помощью кнопки «Описать картинку» в контекстном меню любого изображения в интернете. Вдобавок кнопка расположена на плавающей панели, которая появляется, если навести курсор на какую-либо картинку. Ещё можно просто сфокусироваться на изображении с помощью программы экранного доступа и послушать описание. Настройки функции расположены в пункте «Специальные возможности» основных настроек браузера.
Функция работает на базе нейросетевой мультимодальной модели, способной анализировать тексты и картинки. Она воспринимает изображение целиком, а не делит его на отдельные объекты, поэтому может видеть взаимосвязи, контекст и общий смысл.
