Нейросеть Алиса в Яндекс Браузере научилась анализировать картинки и генерировать для них точные и осмысленные описания. Благодаря этому незрячие и слабовидящие пользователи смогут воспринимать визуальный контент: иллюстрации в статьях, фотографии товаров в интернет-магазинах или изображения в соцсетях.
Алиса сообщает, что нарисовано на картинке, а по желанию пользователя – приводит подробности. Например, она может изучить фотографию платья в интернет-магазине и описать его цвет, крой и посадку.
В основе функции лежит нейросетевая мультимодальная модель, которая способна анализировать и тексты, и картинки. Нейросеть понимает взаимосвязь объектов и контекст, позволяя создать целостную картину. Это дает возможность генерировать лаконичные и осмысленные описания, которые позволяют незрячим пользователям получить представление о содержании картинок.
Для использования функции достаточно в контекстном меню или на панели поверх картинки выбрать опцию «Описать картинку» или навести на изображение фокус программы экранного доступа. Функция с озвучиванием описания доступна в Яндекс Браузере для Windows, iOS и Android.
В Браузере также есть и другие инструменты для пользователей с особенностями зрения: Режим чтения, Умная камера для распознавания текстов и предметов, темная тема и гибкое масштабирование интерфейса.
Напомним, ранее Яндекс представил первого в России бесплатного ИИ-агента для браузера.