Найти в Дзене
Герман Геншин

Как Google Gemini революционизирует доступ к информации для людей с нарушениями зрения и слуха

На устройствах Android уже многие годы доступна функция TalkBack, которая читает текст с экрана. Она помогает людям с проблемами зрения понимать, что отображается на экране, и управлять устройством голосом. В 2024 году Google интегрировала в TalkBack свой ИИ Gemini, который предоставляет более точные описания изображений. Теперь Google добавляет совершенно новый уровень интерактивности для пользователей. Ранее Gemini лишь описывала изображения, а сейчас, когда пользователи смотрят на них, они могут задавать вопросы и вести более глубокие беседы. «Когда твой друг пришлет фото своей новой гитары, ты сможешь получить её описание и задать вопросы о марке, цвете или даже о том, что еще изображено на фото», — сообщает Google. Эта функция является продолжением обновления доступности, которое интегрировало Gemini в TalkBack в конце прошлого года. Теперь в меню TalkBack на Android появилась специальная функция «Опишите экран», которая позволяет Gemini вести диалог. Например, если пользователи
Оглавление

На устройствах Android уже многие годы доступна функция TalkBack, которая читает текст с экрана. Она помогает людям с проблемами зрения понимать, что отображается на экране, и управлять устройством голосом. В 2024 году Google интегрировала в TalkBack свой ИИ Gemini, который предоставляет более точные описания изображений.

Теперь Google добавляет совершенно новый уровень интерактивности для пользователей. Ранее Gemini лишь описывала изображения, а сейчас, когда пользователи смотрят на них, они могут задавать вопросы и вести более глубокие беседы.

Как это помогает людям с нарушениями зрения?

«Когда твой друг пришлет фото своей новой гитары, ты сможешь получить её описание и задать вопросы о марке, цвете или даже о том, что еще изображено на фото», — сообщает Google. Эта функция является продолжением обновления доступности, которое интегрировало Gemini в TalkBack в конце прошлого года.

Теперь в меню TalkBack на Android появилась специальная функция «Опишите экран», которая позволяет Gemini вести диалог. Например, если пользователи просматривают каталог одежды, Gemini не только описывает то, что они видят, но и отвечает на актуальные вопросы.

Пользователи могут задавать такие вопросы, как: «Какое платье подойдет для холодного зимнего вечера?» или «Какой соус лучше всего к бутерброду?» Gemini также сможет анализировать экран и предоставлять подробную информацию о товарах и наличии скидок.

Эмоциональные субтитры и усовершенствованный зум текста

В браузере Chrome Google улучшила автоматическую генерацию субтитров для видео. Например, когда ты смотришь футбольный матч, субтитры теперь не просто повторяют слова комментатора, но и показывают его эмоции и выражения.

Вместо простого «гол» пользователи с нарушениями слуха увидят «гоооол», что добавляет эмоциональную окраску. Google называет это Эмоциональными субтитрами.

Субтитры фиксируют не только речь, но и важные звуки, такие как свистки, аплодисменты или момент, когда спикер просто прочищает горло. Эмоциональные субтитры будут доступны на всех устройствах с Android 15 и выше в США, Великобритании, Канаде и Австралии.

Еще одно значительное обновление в браузере Chrome — это адаптивный зум текста, который улучшает масштабирование страниц на телефонах Android. Теперь, когда пользователи увеличивают размер текста, это не затрагивает макет остальной части веб-страницы.

«Ты можешь настроить степень увеличения так, как тебе нужно, и легко применить этот параметр ко всем страницам или только к конкретным», — сообщает Google. Пользователи смогут регулировать диапазон зума с помощью ползунка внизу страницы.

Если вам понравилась эта статья, подпишитесь, чтобы не пропустить еще много полезных статей!

Вы также можете найти наши материалы в: