Puzzle RPA Машинное зрение

Вопрос пользователя: «Как заставить компьютер "видеть" экран и выполнять действия за меня?»

Суть проблемы

Многие рутинные задачи требуют взаимодействия с графическим интерфейсом программ: нажать кнопку, найти значок, дождаться появления окна. Это невозможно автоматизировать стандартными методами, так как робот не «видит» картинки. Сотрудникам (операторам кол-центра, диспетчерам) приходится часами выполнять монотонные клики.

Что может Puzzle RPA?

Puzzle RPA может стать вашими «глазами и руками» на компьютере. Он умеет:

• Находить картинки на экране – искать иконки, кнопки, элементы интерфейса.
• Взаимодействовать с ними – кликать, наводить курсор.
• Ждать появления элементов – не выполняться дальше, пока нужное окно или кнопка не появится.
• Делать скриншоты – сохранять изображение экрана в файл.

Характеристика операций (Суть подхода и преимущества)

1. Клик по картинке / Найти картинку:
   Как: Вы «показываете» роботу образец изображения (например, кнопку «Сохранить»). Робот сканирует экран, находит области, похожие на образец, и может по ним кликнуть или сообщить их координаты.
   Преимущества: Автоматизация работы в любых программах, даже там, где нет API. Не зависит от изменения положения окна.
2. Ожидать изображение на экране:
   Как: Робот ждёт появления на экране определённого изображения (например, окна «Сохранение завершено») в течение заданного времени.
   Преимущества: Создание устойчивых процессов. Робот не «сломается», если программа задумалась и грузится медленнее обычного. Он просто будет ждать.
3. Сделать скриншот:
   Как: Робот сохраняет полное изображение экрана в файл в нужный момент процесса.
   Преимущества: Автоматическое документирование действий (например, для отчёта или проверки), создание доказательств выполнения операции.

Решение и рекомендации

1. Используйте встроенный редактор: Для создания образцов кнопок используйте инструмент «редактор скриншотов» прямо в блоке. Это удобнее, чем делать снимки отдельно.
2. Настройте точность: Параметр «Точность поиска» (от 0.8 до 0.95) помогает игнорировать мелкие различия (например, изменение яркости) или, наоборот, искать точное совпадение.
3. Применяйте для устаревших систем (Legacy): Это идеальное решение для автоматизации процессов в программах, которые не поддерживают современные методы интеграции.

Итог простыми словами

Вы как бы ставите робота перед монитором, берёте указку и говорите: «Смотри на эту зелёную галочку. Как только она появится – нажми на неё». Или: «Видишь эту красную кнопку в углу? Нажимай на неё каждый раз, когда закончишь ввод данных». Робот будет послушно смотреть на экран и выполнять команды.

Типичные сценарии использования:

Сценарий 1: Обработка заявок в старом ПО диспетчера

• Ситуация: Диспетчер получает заявки в одной программе (например, в 1С или почте), а вводить их должен в старое транспортное приложение, которое не умеет обмениваться данными.
• Проблема: Ручной перенос данных занимает много времени, приводит к опечаткам.
• Решение: Робот читает данные из 1С или почты, открывает транспортное приложение и, используя машинное зрение, последовательно нажимает на поля «Номер заявки», «Адрес», «Клиент», вводит туда данные и нажимает старую серую кнопку «Сохранить».
• Результат: Данные переносятся между системами быстро и без ошибок, диспетчер только контролирует процесс.

Сценарий 2: Контроль состояния программы оператором

• Ситуация: Оператор на производстве должен следить за специальной программой. Если на графике появляется красный значок «Авария», нужно немедленно нажать кнопку «Сброс».
• Проблема: Оператор может отвлечься, а каждая секунда простоя дорого стоит.
• Решение: Робот с помощью блока «Ожидать изображение на экране» постоянно следит за областью графика. Как только появляется красный значок аварии, он сразу нажимает «Сброс» и отправляет уведомление инженеру.
• Результат: Мгновенная реакция на аварийную ситуацию, минимизация ущерба от простоя.