Автор делится опытом тестирования функции «использование компьютера» в приложении Claude на Mac. Он столкнулся с трудностями при игре в шахматы и размышляет о реальных сценариях применения этой мощной, но пока сырой технологии. — pcworld.com
Итак, я сидел перед своим Mac mini, на экране которого было запущено приложение Claude, ожидая, когда оно начнет выполнять мои поручения. С изрядной долей опасения я предоставил Claude разрешение взять под контроль мой Mac с помощью только что запущенной функции «использование компьютера», но мне было трудно решить, что именно я хочу, чтобы Claude делал на моем Mac.
Наконец, я решил, что хочу, чтобы Claude сыграл в шахматы.
«Клод, можешь открыть приложение «Шахматы»?» — попросил я. Через мгновение края экрана моего Mac загорелись красным, и всплывающее окно предупредило, что Claude берет управление моим компьютером. Затем значок приложения «Шахматы» качнулся в доке macOS, и появилось шахматное поле.
«Шахматы открыты!» — сообщил Claude. «Похоже, у вас уже идет игра — белым ходить».
И тут у меня пробежал холодок, один из тех, что вызывают ощущение «происходит что-то действительно крутое», которые иногда возникают, когда впервые пробуешь какую-нибудь дикую новую функцию ИИ. «Давай, сыграй партию», — сказал я Claude.
А потом… ну, ничего. Я ждал, и ждал, и ждал еще, пока не увидел, что мой пятичасовой лимит использования Claude почти исчерпан после едва 30 минут использования Claude на компьютере. (Я подписчик Claude Pro, а не Claude Max.)
Так что, если вам интересно, почему я позволил Claude использовать свою новую функцию «использование компьютера» всего полчаса, то вот почему. (Причины проблем Claude с шахматами я объясню чуть позже.) И пока я жду окончания периода охлаждения использования Claude, я размышляю: «Круто, но как и зачем мне на самом деле использовать эту штуку?»
«Использование компьютера» для больших языковых моделей (LLM), таких как Claude, не является чем-то совершенно новым — Anthropic говорит об этом как минимум с 2024 года, а модель GPT-5.4 от OpenAI может использовать компьютеры при наличии доступа к совместимым инструментам. Новизна заключается в том, что Anthropic только что выпустила функцию использования компьютера в потребительском приложении Claude, что означает, что обычные пользователи могут попробовать эту функцию (которая все еще находится в «исследовательской предварительной версии») прямо сейчас.
Конечно, есть оговорки. Во-первых, использование компьютера в приложении Claude в настоящее время доступно только для пользователей Mac, подобно тому, как устройства macOS первыми получили доступ к Claude Cowork. (Поддержка Windows «скоро появится», — сообщает Anthropic.)
Во-вторых, чтобы попробовать этот трюк с использованием компьютера, вы должны быть платным пользователем Claude Pro или Max, то есть бесплатные пользователи могут не рассчитывать.
И в-третьих, последствия для конфиденциальности, связанные с разрешением Claude управлять вашим Mac, довольно тревожны. Чтобы Claude мог взять на себя управление мышью, ему необходимо делать снимки экрана, чтобы видеть, куда он перемещает курсор и куда нажимает, а это означает, что он может видеть все, что находится на вашем экране — открытые PDF-файлы (например, банковские выписки), окна чата, вкладки браузера, что угодно.
Переключатель «использование компьютера» в Claude вы найдете в меню Настройки > Общие, и вам потребуется предоставить Claude разрешения macOS на «доступность» и «запись экрана». Вы также должны предоставить Claude конкретный доступ к приложению, прежде чем оно сможет его открыть.
Но как только Claude получит доступ к приложению, он сможет использовать его меню, вводить текст с клавиатуры и теоретически делать все, что захочет. Anthropic заявляет, что существуют механизмы защиты, чтобы не дать Claude торговать акциями, извлекать изображения лиц или делать другие пугающие вещи, но вам все равно следует воздержаться от просьб к Claude запустить Quicken.
Бен Паттерсон/Foundry
Итак, в моих кратких тестах я просил Claude выполнять довольно безобидные задачи. Например, я попросил Claude открыть приложение «Заметки» macOS и создать новую заметку с текстом «Hello World». Края моего экрана засветились красным, когда Claude взял управление (похоже на то, что происходит в браузере Chrome, когда Gemini начинает просмотр), и я наблюдал, как открылось приложение «Заметки», Claude создал заметку и начал печатать.
Я также попробовал использовать компьютер с помощью Claude через новую функцию Dispatch от Anthropic, которая позволяет управлять удаленными сеансами рабочего стола Claude из мобильного приложения Claude. «Клод, можешь использовать эту же заметку и добавить список покупок с ингредиентами для лазаньи?» — напечатал я на своем iPhone.
Через несколько секунд Claude сделал именно это, напечатав список на моем рабочем столе Mac. «Готово! Список покупок для лазаньи теперь в заметке, со всеми ингредиентами: лапша, говяжий фарш, итальянская колбаса, томатный соус/паста/измельченные помидоры, рикотта, моцарелла, пармезан, яйцо, чеснок, лук, оливковое масло и сушеные травы».
Затем последовал шахматный эксперимент, где Claude застрял, пытаясь передвинуть одну шахматную фигуру. «Приложение «Шахматы» использует доску с 3D-перспективой, что затрудняет точное нажатие на фигуры», — объяснил позже Claude, и он также раскрыл все методы, которые пробовал, включая копание в меню «Настройки» и увеличение шахматной доски. Все эти размышления и последующие неудачные попытки стоили токенов, и как только я увидел, что мой пятичасовой лимит использования почти исчерпан, я прекратил задачу.
Бен Паттерсон/Foundry
Итак, интересно, но и что? Зачем просить Claude составить список покупок для лазаньи на моем рабочем столе, когда я мог бы так же легко попросить его сделать это в приложении Claude, а затем перенести список в «Заметки» на моем iPhone? И какая польза от того, что Claude может использовать Quicken на моем рабочем столе, если я не разрешаю ему это делать по соображениям конфиденциальности?
Что ж, это очень хорошие вопросы, и лично я не вижу сценария использования Claude для меня — или, по крайней мере, пока нет.
Кто мог бы воспользоваться возможностями компьютера Claude? Хорошими примерами были бы разработчики или другие продвинутые пользователи, стремящиеся автоматизировать повторяющиеся задачи, требующие кликов по графическому интерфейсу рабочего стола, или, возможно, для тестирования пользовательского интерфейса.
Одна из возможностей, которую я хотел бы попробовать, — это использовать Claude для управления Handbrake, приложением для преобразования видео, которое я использую для обработки видео перед добавлением их в мою библиотеку Plex. Это утомительная задача, требующая множества кликов по интерфейсу, и я вижу возможность переложить это на Claude — то есть, как только мой лимит использования Claude обновится.
Возможности использования компьютера Claude указывают на будущее, о котором я писал на прошлой неделе: будущее, в котором нашими ПК и Mac будут управлять агенты ИИ, и вместо использования приложений для выполнения задач на рабочем столе мы просто просим наших агентов делать это за нас.
Но на данный момент все эти клики мышью, нажатия клавиш и постоянные снимки экрана, необходимые для использования компьютера Claude (или любой LLM, управляющей компьютером), медленны и дороги. А еще есть проблемы с конфиденциальностью, а также риск внедрения промптов (prompt injection), когда вредоносный документ или веб-сайт пытается обманом заставить Claude раскрыть конфиденциальные данные или изменить свои собственные инструкции «системного промпта». (Anthropic заявляет, что Claude обучен обнаруживать, подвергается ли он атаке внедрения промптов.)
Другими словами, использование компьютера Claude — это увлекательный взгляд в будущее, которое — по крайней мере для большинства из нас — еще не готово к широкому применению.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Ben Patterson