«Эй, ChatGPT, кликни левой кнопкой мыши по полю ввода пароля в нижнем левом углу экрана, введи XUS&(#($J и нажми Enter.»
Звучит забавно, правда? Но нет, спасибо. Я лучше возьму свою привычную мышь и наберу двенадцать символов на своей чересчур щелкающей клавиатуре, чем буду вслух озвучивать пароль прямо в коворкинге.
Конечно, здорово видеть, как ChatGPT понимает голос, покупает дешёвые билеты на матч Ливерпуля сразу для восьми человек и доводит вас до этапа оплаты. Но доверите ли вы ИИ свой пароль? Или всё же предпочтёте ввести его вручную?
Представьте, что вы полностью полагаетесь на ИИ, а он доходит до последнего шага, где без клавиатуры и мыши никак не обойтись — и вы попадаете в тупик. Именно этот вопрос тревожит многих после просмотра эффектных роликов с AI-агентами и автоматизацией от Google, OpenAI и Anthropic.
Вопрос более чем актуальный
ИИ стал главной темой на конференции Google I/O в этом году. К концу презентации стало ясно: смартфоны на Android скоро изменятся до неузнаваемости, а с ними — и все платформы, где появится Gemini, будь то приложения Workspace, такие как Gmail, или навигация в Google Maps за рулём.
Самыми впечатляющими оказались Project Mariner и исследовательский прототип Project Astra — ассистенты нового поколения, с которыми можно просто разговаривать и выполнять задачи без привычных кликов и набора текста. Они умеют переключаться между настройками сайта производителя и обучающими видео на YouTube, не теряя контекст.
Сдается, что у ИИ наконец появилась настоящая память. В браузере он купит билеты и доведет вас до финального экрана, где останется лишь подтвердить детали и оплатить. Возникает вопрос: не станет ли голосовой интерфейс настоящей альтернативой клавиатуре и мыши?
Главный вызов — ошибки
Звучит удивительно, но голосовое управление уже встроено в операционные системы Windows и macOS для облегчения доступа. Там есть горячие клавиши, и даже можно создавать свои собственные команды.
Однако с новыми ИИ-моделями речь идёт о полном отказе от мыши и клавиатуры для всех пользователей, а не только об вспомогательных технологиях.
Представьте сочетание Anthropic Claude Computer Use с системой трекинга глаз из Vision Pro от Apple. Если вы не знакомы, Claude — это агент, который пользуется компьютером как человек: смотрит на экран, двигает курсор, кликает и печатает.
Допустим, вы отдаёте голосовую команду Клоду, и он выполняет задачу, а финальный шаг делаете вы — жестами. Vision Pro доказал, что управление глазами может быть точным и надёжным.
Даже без VR-гарнитур голосовой ИИ упростит работу на обычном ПК. Hume AI и Anthropic разрабатывают систему Empathetic Voice Interface 2 (EVI 2), которая превращает речь в компьютерные команды. Это вроде Alexa, но она не просто слушает команды, а переводит голос в нажатия клавиш и клики мыши.
Звучит здорово, но представьте реальные ситуации. Для точного монтажа видео, мелких правок кода или заполнения таблиц клавиатура необходима. Сказали бы вы: «Эй, Gemini, введи 4895 долларов в ячейку D5 и подпиши как расходы на авиаперелёты?» Я бы тоже просто напечатал это.
Это скорее этап на пути, а не конец пути
Если посмотреть демонстрации AI Mode в Поиске, Project Mariner и Gemini Live, становится понятно, как работает голосовой интерфейс. Всё кажется удобным — пока не дойдёшь до момента, когда нужно сказать: «Перейди в окно в левом верхнем углу и кликни по синей кнопке «Подтвердить».
Слишком много мороки, даже если ИИ уже выполнил все остальные действия за вас.
Главное — ИИ пока склонен к ошибкам. Anthropic предупреждает, что Claude Computer Use — экспериментальное решение, которое сопровождается ошибками и неудобствами. Ситуация напоминает OpenAI Operator Agent или похожие проекты от Opera.
Отказ от клавиатуры и мыши — это как поездка на Tesla с автопилотом, но без руля. Машина едет сама, но в непредвиденной ситуации нужно срочно вмешаться.
В цифровом мире это значит, что пользователь всегда должен оставаться «за рулём». Например, при оплате покупки ИИ доведёт процесс до финала, но подтвердить личность придётся вручную — через пароль, приложение-аутентификатор или сканер отпечатка.
Никакая операционная система или разработчик не доверят ИИ управлять таким важным моментом — слишком высок риск. Даже с Passkeys, упрощающими авторизацию, контроль пользователя остаётся обязательным. Хотя предполагается, что Gemini будет учиться на ваших действиях, для этого всё равно нужны данные с клавиатуры и мыши. Так что мы возвращаемся к исходной точке.
Виртуальные устройства? Ждём с надеждой
Когда говорят об отказе от мыши и клавиатуры в пользу ИИ, речь чаще всего идёт о замене их альтернативными устройствами. Виртуальные мыши и клавиатуры разрабатываются уже давно — эта тема изучается с момента выхода знакового исследования «transformers», которое подняло ИИ на новый уровень.
В 2013 году появилось приложение DexType, которое использовало Leap Motion для виртуального набора текста в воздухе. Сенсор не требовал экранов и лазерных проекторов, как Humane AI Pin. Поддержка Leap Motion прекратилась в 2019, но идея живёт. Сейчас Meta — пожалуй, единственная компания, активно разрабатывающая ПО и аппаратные устройства для альтернативного взаимодействия человека с компьютером (HCI).
Компания продвигает носимые на запястье устройства для управления жестами, основанными не на движении пальцев, а на электромиографии (ЭМГ) — считывании электрических сигналов мышц. Такие устройства позволяют управлять курсором и имеют виртуальную клавиатуру.
Meta обещает, что эта система будет быстрее обычного нажатия клавиши, ведь электрические сигналы идут напрямую от руки к компьютеру, обходя механическую задержку. «Это более быстрый способ отдавать команды, которые вы сейчас отдаёте через нажатия на телефоне или клики мышью», — уверяет компания.
Меняется не столько техника, сколько форма взаимодействия
У подхода Meta есть два ключевых момента, с ИИ или без: курсор и клавиатура никуда не исчезают, они просто переходят в цифровую форму. Это скорее переработка привычных устройств, а не полное их замещение. При этом аппаратная часть пока находится в экспериментальной стадии, и первые такие устройства будут стоить недёшево.
Даже простые сторонние программы вроде WowMouse работают по подписке и сильно зависят от ограничений операционных систем.
Я не могу представить, как сменить свою удобную и недорогую клавиатуру на экспериментальный голосовой или жестовый интерфейс, способный полноценно её заменить в повседневной работе. К тому же интеграция обычной речи в приложения потребует времени.
Есть альтернативы — например, WowMouse превращает умные часы в центр управления жестами для курсора, но это не полноценная клавиатура. И передавать приложениям доступ к клавиатуре всегда связано с риском, напоминающим кейлоггеры.
В итоге мы на пороге, когда ИИ умеет вести диалог и выполнять задачи, но завершить процесс без мыши и клавиатуры пока не получается. Голосовые команды слишком громоздки для постоянного использования, когда легче нажать пару клавиш или кликнуть.
Проще говоря, ИИ снизит нашу зависимость от физических устройств, но полностью заменить их пока не сможет. По крайней мере, для большинства из нас.
Если вам понравилась эта статья, подпишитесь, чтобы не пропустить еще много полезных статей!
Вы также можете найти наши материалы в:
- Telegram: https://t.me/gergenshin
- Youtube: https://www.youtube.com/@gergenshin
- Яндекс Дзен: https://dzen.ru/gergen
- Официальный сайт: https://www-genshin.ru