2 подписчика

Автоматизация действий на компьютере с Computer Use от Codex и Claude Code

16 мая16 мая

1 мин

Десктопные Codex ChatGPT и Claude Code изначально развивались как инструменты для разработчиков, но в последние месяцы становятся популярны уже и у не-технарей. OpenAI ещё в апреле сменил позиционирование, анонсировав новый Codex for Everything. Если раньше эти агентские системы умели использовать встроенные коннекторы и интеграции с различными сервисами, а также давали возможность устанавливать кастомные MCP серверы и навыки (что уже позволяет закрыть львиную долю задач по автоматизации процессов), то недавно была добавлена возможность агентам буквально «видеть» экран и управлять курсором мыши. Это буквально развязывает «руки» агентам и позволяет им работать с абсолютно любыми программами и веб-сайтами, как это делает человек. И антибот системам защиты практически нереально отследить, что их интерфейсом сейчас пользуется не человек. Это открывает возможность для автоматизации уже практически любых процессов, особенно таких, где нет публичных или доступных API или MCP для интеграции

Если раньше эти агентские системы умели использовать встроенные коннекторы и интеграции с различными сервисами, а также давали возможность устанавливать кастомные MCP серверы и навыки (что уже позволяет закрыть львиную долю задач по автоматизации процессов), то недавно была добавлена возможность агентам буквально «видеть» экран и управлять курсором мыши.

Это буквально развязывает «руки» агентам и позволяет им работать с абсолютно любыми программами и веб-сайтами, как это делает человек. И антибот системам защиты практически нереально отследить, что их интерфейсом сейчас пользуется не человек.

Это открывает возможность для автоматизации уже практически любых процессов, особенно таких, где нет публичных или доступных API или MCP для интеграции или они стоят очень дорого - как, например, в случае с API X (Twitter), WhatsApp, Instagram и т.д.

Как понять, что задачу стоит автоматизировать? Проверьте - если она:

• Повторяется регулярно или ежедневно

• Занимает более 3-5 минут

• Имеет понятные измеримые критерии результата на выходе

• Может быть повторена почти любым человеком удалённо за компьютером

То скорее всего её можно поручить агенту и повесить на выполнение по расписанию или триггеру - в Codex это Automations, в Claude Code - это Scheduled tasks / Hooks (когда запускается локально с компьютера) и Routines (когда запускается и выполняется в облаке)

Если же есть понимание, что таких процессов много и нужно, чтобы они выполнялись 24/7 независимо от включенности компьютера - то здесь уже стоит задуматься об использовании автономных агентов типа OpenClaw / Hermes на собственном облачном сервере, но это требует некоторой технической подготовки и более глубокого погружения - об этом чуть позже также выпущу цикл статей.