В Windows 11 на компьютерах с искусственным интеллектом (ИИ) Microsoft Copilot+ PC вскорости появится возможность получать текстовое описание изображений, сообщает Windows Central. В этом будет задействована встроенная в операционную систему локальная ИИ модель. Похоже, речь идёт не только о картинках, а вообще о любом окне. Новая функция описания изображений является частью более широкого спектра функций и возможностей, встроенных в оверлей Click To Do, и связана с Windows Recall.
Сгенерированное описание будет появляться во всплывающем окне, где будет предусмотрено быстрое копирование описания в буфер обмена, повторная генерация и оценка результата генерации. Последующие действия включают размытие или удаление фона, поиск дополнительной информации в Интернете в соответствии с контекстом. Если на изображении был текст, ИИ модель в Click To Do способна его распознать и проанализировать для дальнейшей обработки: резюмирования, в том числе, в виде списка, переписывания и т.п.
Microsoft пытается позиционировать Click To Do как собственную версию Google Circle To Search, которая оказалась очень популярной на Android, отмечают в Windows Central, называя Click To Do более продвинутой альтернативой за счёт поддержки большего количества действий и локальных моделей ИИ. Использование локальных моделей ИИ не требует отправки информации на сторонние сервисы, что способствует повышению конфиденциальности. Запуск локальный моделей осуществляется на нейронном блоке NPU (Neural Processing Unit), который в обязательном порядке должен присутствовать в компьютере, чтобы он мог получить статус Copilot+ PC. На сегодняшний день, производительность NPU должна быть не ниже 40 триллионов операций в секунду (TOPS).
Новая функция описания изображений уже доступна в рамках программы предварительной оценки Windows 11 для компьютеров с процессорами Qualcomm Snapdragon. Ожидается, что процессоры Intel и AMD получат доступ к предварительной версии в ближайшие недели, а релиз функции состоится в этом году. К слову, ранее Microsoft подтвердила выход очередного крупного обновления Windows 11 25H2 в этом году.