📋 ПАСПОРТ ЛЕКЦИИ
Тема: "Когда умный помощник внезапно тупéет: как отлаживать ИИ-агентов без нервного срыва"
Преподаватель: Кирилл Ледовский
Email: erpmaster-1c@yandex.ru
Telegram-канал курса: t.me/erpmaster
Время консультаций: 9.00-18.00 мск — особенно актуально сегодня, тема эмоциональная
🎤 ВСТУПЛЕНИЕ: НОЧЬ, КОГДА МОЙ АГЕНТ РЕШИЛ УВОЛИТЬ ВСЕХ ПОСТАВЩИКОВ
Коллеги, добрый день. Кирилл Ледовский.
Помню, как два года назад я получил панический звонок в 3 часа ночи от директора пищевого комбината: «Кирилл, твой агент только что расторг договоры со всеми 37 поставщиками! У нас завтра производство встанет!»
Приезжаю. Смотрю. Оказалось, агент получил задание «проверить просроченные договоры». В 1С были договоры, у которых истекал срок. Логика агента: «просроченные = недействительные». Действие: «расторгнуть». Результат: 37 писем о расторжении отправлено автоматически.
Мы тогда до 6 утра обзванивали поставщиков: «Извините, это ошибка системы». С тех пор я понял: самый умный агент — это ещё не самый безопасный агент. Сегодня поговорим о том, как тестировать, отлаживать и сопровождать агентов так, чтобы не получать ночных звонков.
🤔 ТРИ ВОПРОСА, КОТОРЫЕ ВОЗНИКАЮТ, КОГДА АГЕНТ НАЧИНАЕТ ДУРИТЬ
Вопрос 1: «Кирилл, как понять, готов ли агент к работе? Вот он вроде тесты проходит, а в бою — бац!»
Отличный вопрос. Расскажу историю. На одном заводе агента тестировали на исторических данных. Всё работало. Запустили в реальность. Первый же день: агент создал 200 заказов на один товар. Оказалось, в реальности менеджер случайно поставил в Excel точку вместо запятой. Агент прочитал «10.5» как «105» и умножил на 2 по какому-то своему правилу.
Правило тестирования №1: Тестировать нужно не на идеальных данных, а на максимально кривых. Дайте агенту:
- Файлы с опечатками
- Письма с ошибками
- Данные в неправильном формате
- Пустые поля
- Противоречивые инструкции
Если после этого агент не наломает дров — можно запускать.
Вопрос 2: «А если агент сломался посреди процесса? Как понять, на каком шаге?»
Представьте, что у вас конвейерная линия остановилась. Вы идёте и смотрите: на каком станке загорелся красный? Так и с агентом.
В RPA и других платформах есть журнал выполнения. Это как видеозапись работы агента:
- В 10:00: открыл 1С
- В 10:01: зашёл в справочник «Контрагенты»
- В 10:02: нажал «Создать»
- В 10:03: ошибка «Поле "ИНН" обязательно для заполнения»
- В 10:04: остановился
Вы сразу видите: проблема в поле ИНН. Идёте смотреть, почему ИНН не заполнилось.
Вопрос 3: «Кто должен следить за агентом? У нас и так все заняты»
Есть три уровня контроля:
- Сам агент — при ошибке пишет вам в Telegram
- Ответственный сотрудник — проверяет раз в день отчёты
- Система мониторинга — следит за ключевыми показателями (например, если агент не создал ни одного документа за день — это тревога)
Обычно хватает уровня 1 и 2. Уровень 3 — для критически важных процессов.
🔍 ТЕСТИРОВАНИЕ: КАК НЕ ПРОПУСТИТЬ ОШИБКУ, КОТОРАЯ СТОИТ ДЕНЕГ
Правило 1: Тестируйте в изоляции
Нельзя тестировать агента на рабочей базе 1С. Нужен тестовый контур:
Рабочая база 1С → Копия → Тестовая база
↓
Агент тестируется
↓
Ничего не сломано → Запускаем в работу
Пример из практики: На мебельной фабрике создали тестовую базу с копией данных. Агент в тесте создал 150 документов с одинаковой датой. Оказалось, в коде была ошибка — дата не менялась. В рабочей базе это привело бы к конфликтам. В тестовой — просто увидели и исправили.
Правило 2: Тестируйте граничные условия
Что будет, если:
- Пришло письмо без темы?
- В Excel пустая строка?
- Сумма заказа 0?
- Дата из будущего?
- Отрицательное количество?
Реальная история: На химкомбинате агент рассчитывал дозировку реактивов. В тестах всё было ок. В работе — кто-то ввёл отрицательное количество (хотел списать брак). Агент посчитал: «-10 кг × коэффициент = -15 кг». И создал заказ на минус 15 кг. Поставщик, естественно, удивился.
Правило 3: Тестируйте «глупые» сценарии
Люди делают странные вещи. Агент должен быть к этому готов.
Чек-лист тестовых сценариев:
[ ] Менеджер отправил письмо с вложением 100 МБ
[ ] В Excel вместо цифр написано «много» или «пару штук»
[ ] В письме опечатка в названии компании
[ ] Файл называется «бла-бла-бла.xlsx»
[ ] В 1С изменили название кнопки после обновления
[ ] Интернет пропал на 5 минут во время работы
[ ] Человек закрыл окно 1С, пока агент работал
Правило 4: Тестируйте с реальными пользователями
Дайте агенту тем, кто будет им пользоваться. И постойте рядом.
Что увидите:
- «А я обычно делаю так...» (агент делает иначе)
- «А вот здесь я всегда проверяю...» (агент не проверяет)
- «А если вот так? Ой, сломалось» (нашли баг)
Пример: На заводе сборщик сказал: «А я когда сдаю задание, всегда смотрю, не перепутал ли номер детали». Агент этого не делал. Добавили проверку.
🛠 ОТЛАДКА: ЧТО ДЕЛАТЬ, КОГДА АГЕНТ УЖЕ СЛОМАЛСЯ
Шаг 1: Не паниковать (это самое сложное)
Ваш агент создал 1000 одинаковых документов? Первое — остановите агента. В OneRPA есть кнопка «Стоп». Нажали. Вдохнули. Выдохнули.
Шаг 2: Посмотреть журнал
Журнал — ваш лучший друг. Он покажет:
- Что делал агент
- На каком шаге ошибся
- Какие данные были на входе
- Что он пытался сделать
Пример записи в журнале:
12:34:22 - Шаг 15: Создание документа "Приходная накладная"
12:34:23 - Данные: {Поставщик: "ООО Ромашка", Товар: "Болт М8", Количество: "1000"}
12:34:24 - Ошибка: "Не найден товар 'Болт М8' в справочнике"
12:34:25 - Остановлен
Вы сразу видите: в справочнике нет товара «Болт М8». Идёте проверять.
Шаг 3: Воспроизвести ошибку
Возьмите те же данные, что были у агента, и попробуйте сделать то же самое вручную.
Сценарий:
- Открываете 1С
- Ищете «Болт М8»
- Не находите
- Понимаете: в справочнике товар называется «Болт М8х20»
- Фиксите: нужно искать не точное совпадение, а похожие названия
Шаг 4: Исправить и протестировать
Исправили агента: вместо точного поиска сделали поиск по части названия.
Важно: Не просто исправить. Нужно:
- Запустить исправленного агента на тех же данных
- Убедиться, что ошибка исчезла
- Запустить на других данных — не сломает ли что-то ещё
- Сделать контрольный прогон
Шаг 5: Восстановить данные (если успел навредить)
Если агент успел создать неправильные документы:
- Не удалять вручную — можно что-то пропустить
- Написать скрипт отката (или попросить агента это сделать)
- Проверить, что откат прошёл полностью
Пример отката: Агент создал 100 неправильных приходных накладных. Пишете ему задание: «Найди все накладные, созданные тобой сегодня с 12:00 до 12:30, и удали их». Он делает это за 2 минуты.
📊 СОПРОВОЖДЕНИЕ: КАК ЖИТЬ С АГЕНТОМ ДОЛГО И СЧАСТЛИВО
1. Регламент проверок
Агент — как станок. Ему нужно ТО.
Ежедневно (5 минут):
- Посмотреть отчёт о работе за день
- Проверить, не было ли ошибок
- Убедиться, что все задачи выполнены
Еженедельно (15 минут):
- Посмотреть статистику: сколько задач выполнил, сколько времени сэкономил
- Проверить логи на странные действия
- Спросить пользователей: всё ли устраивает?
Ежемесячно (1 час):
- Проанализировать эффективность
- Найти процессы для улучшения
- Запланировать доработки
2. Система уведомлений
Агент должен кричать, когда что-то не так.
Настройте оповещения:
Если ошибка → Telegram ответственным
Если не выполнил задачу за N времени → SMS
Если странное поведение (например, создал в 10 раз больше документов, чем обычно) → Звонок
Пример: На металлургическом комбинате настроили:
- Ошибка при создании документа → Telegram мастеру
- Не обработал ни одного задания за 2 часа → SMS начальнику смены
- Создал документ на сумму >1 млн → звонок директору
За 3 месяца предотвратили 15 потенциальных проблем.
3. Обучение агента
Агент должен становиться умнее.
Механизм обратной связи:
Пользователь видит ошибку → Нажимает кнопку "Исправить" → Агент запоминает → Больше не ошибается
Пример: Кладовщик заметил, что агент неправильно распознаёт название товара. Нажал «Исправить», ввёл правильное название. Теперь агент знает: «Резиновая прокладка 10х15» = «Прокладка резиновая 10-15».
4. Документация
Заведите папку на каждого агента:
- Что делает — описание задачи
- Как работает — схема, скриншоты
- Что проверять — чек-лист ежедневного контроля
- Кто отвечает — контакты ответственных
- История изменений — что и когда меняли
Важно: Документацию ведёт не IT-специалист, а пользователь. Потому что он понимает процесс.
🎬 РАЗБОР РЕАЛЬНОГО КЕЙСА: АГЕНТ «СКЛАДСКОЙ УЧЁТ», КОТОРЫЙ ПЕРЕСТАЛ РАБОТАТЬ
Ситуация: На складе автокомпонентов агент 3 месяца успешно вёл учёт. Вдруг перестал создавать документы.
День 1: Обнаружение проблемы
8:00 — Кладовщик: «Агент не работает»
8:05 — Смотрим журнал: последняя запись — вчера 18:30
8:10 — Проверяем: агент запущен, но не делает ничего
8:15 — В логах: «Ошибка подключения к 1С»
День 1: Диагностика
8:20 — Пробуем зайти в 1С вручную — заходит
8:25 — Смотрим настройки подключения — всё правильно
8:30 — Запускаем агента в режиме отладки
8:35 — Видим: агент пытается подключиться к старому адресу сервера
8:40 — Выясняем: ночью IT-отдел перенёс базу 1С на новый сервер
День 1: Исправление
8:45 — Меняем адрес сервера в настройках агента
8:50 — Запускаем — работает
8:55 — Делаем тестовый прогон — всё ок
9:00 — Возвращаем в работу
День 2: Предотвращение повтора
1. Добавляем в мониторинг проверку: «Агент подключён к 1С?»
2. Настраиваем уведомление: если нет подключения 5 минут → SMS IT-отделу
3. Договариваемся с IT: при переносе серверов предупреждать заранее
Мораль: Проблема была не в агенте, а в изменении окружения. Но агент должен уметь обнаруживать такие изменения и сообщать о них.
📝 ЧЕК-ЛИСТЫ ДЛЯ КАЖДОГО ЭТАПА
Чек-лист тестирования перед запуском:
[ ] Проверено на тестовой базе
[ ] Проверены граничные условия (пустые данные, ошибки)
[ ] Проверены «глупые» сценарии
[ ] Проверено с реальными пользователями
[ ] Есть план отката на случай ошибки
[ ] Настроены уведомления об ошибках
[ ] Документация составлена
Чек-лист действий при обнаружении ошибки:
[ ] Остановить агента
[ ] Посмотреть журнал
[ ] Определить шаг с ошибкой
[ ] Воспроизвести вручную
[ ] Найти причину
[ ] Исправить
[ ] Протестировать исправление
[ ] Запустить в работу
[ ] Задокументировать инцидент
Чек-лист ежедневного сопровождения:
[ ] Проверить отчёт за вчера
[ ] Убедиться, что не было ошибок
[ ] Проверить, что все задачи выполнены
[ ] Спросить пользователей, всё ли ок
[ ] Обновить документацию при необходимости
🎯 ПРАКТИЧЕСКОЕ ЗАДАНИЕ НА ЛЕКЦИИ
Задание: «Разбор полётов»
Представьте, что ваш агент (которого вы проектировали на прошлой лекции) сломался.
Опишите:
1. Как вы узнаете о проблеме? (уведомление, жалоба, проверка)
2. Какие первые три действия предпримете?
3. Где будете искать причину?
4. Как будете исправлять?
5. Как предотвратите повторение?
Пример (для агента «Учёт сменных заданий»):
1. Узнаю от мастера в Telegram: «Агент не создал задания»
2. Действия: остановлю агента → открою журнал → посмотрю последние записи
3. Причина: в логах «Не удалось подключиться к Google Sheets»
4. Исправление: проверю доступ к таблице, обновлю токен
5. Профилактика: добавлю ежедневную проверку подключения к таблице
❓ ОТВЕТЫ НА СЛОЖНЫЕ ВОПРОСЫ
Вопрос: «Кирилл, а если ошибка проявляется раз в месяц? Как её поймать?»
Такие ошибки — самые опасные. Пример: агент неправильно рассчитывал премию, но только если рабочий работал в последний день месяца и у него было больше 20 заданий. Проявилось через 3 месяца.
Решение:
- Ведение подробных логов — записывать не только ошибки, но и все действия с данными
- Анализ статистики — ежемесячно смотреть: не было ли аномалий?
- Тестирование на исторических данных — прогнать агента на данных за прошлый год, посмотреть, где были бы ошибки
Вопрос: «А кто должен заниматься сопровождением? У нас нет отдельного человека»
Обычно сопровождение занимает 5-15 минут в день. Это может делать:
- Тот, кто пользуется результатами работы агента
- Тот, кто его настраивал
- По очереди в отделе
Важно: Не делать это IT-отделу (если только агент не связан с инфраструктурой). Потому что IT не знает бизнес-логики.
Вопрос: «Как понять, что агента пора улучшать или переделывать?»
Признаки:
- Частые ошибки на одном и том же месте — значит, логика неполная
- Пользователи жалуются на неудобство — значит, интерфейс плохой
- Появились новые требования — бизнес изменился
- Агент работает медленно — вырос объём данных
Правило: Если на исправление ошибок уходит больше времени, чем экономия от агента — пора переделывать.
🏠 ДОМАШНЕЕ ЗАДАНИЕ К ЛЕКЦИИ 11
Задание 1: «План тестирования»
Для вашего агента из прошлых лекций составьте план тестирования:
1. Какие данные будете использовать? (идеальные, с ошибками, граничные)
2. Кто будет тестировать? (вы, пользователи, оба)
3. Как будете фиксировать результаты?
4. Сколько времени выделите?
5. Что будете делать при обнаружении ошибок?
Пришлите план — помогу доработать.
Задание 2: «Система мониторинга»
Придумайте систему мониторинга для вашего агента:
1. Какие показатели будете отслеживать? (количество задач, ошибки, время)
2. Как часто будете проверять?
3. Кто будет получать уведомления?
4. Какие уведомления настроите? (Telegram, SMS, email)
5. Что будете делать при срабатывании уведомления?
Нарисуйте схему или опишите текстом.
Задание 3: «Документация»
Создайте шаблон документации для вашего агента:
1. Назначение (что делает)
2. Как работает (блок-схема или описание)
3. Что проверять ежедневно
4. Кто отвечает
5. Контакты для связи
6. История изменений
Заполните по своему агенту.
📚 ЧТО ПОСМОТРЕТЬ, ЕСЛИ ХОЧЕТСЯ ГЛУБЖЕ
- Видео: «Журналы и логи: как читать, чтобы понимать» (запишу для курса)
- Кейс: «Год эксплуатации агента: какие ошибки были и как их исправляли» (пришлю в Telegram)
- Инструменты: Бесплатные системы мониторинга для небольших проектов
- Шаблоны: Готовые чек-листы для тестирования и сопровождения (в нашем канале)
🎯 ЧТО БУДЕТ НА СЛЕДУЮЩЕЙ ЛЕКЦИИ
Тема: «Будущее ИИ-агентов в промышленности и защита проектов»
Мы разберём:
- Что нас ждёт в ближайшие 1-3 года
- Как подготовиться к изменениям
- Как защитить свой проект автоматизации перед руководством
- Итоги курса и вручение сертификатов
Подготовка: Начните готовить презентацию своего проекта автоматизации. Будем защищать на последней лекции.
☎ КОНТАКТЫ И ПОДДЕРЖКА
По домашним заданиям — особенно по заданию 1 (планы тестирования). Присылайте, разберём вместе.
Если есть реальные проблемы с агентами — тоже обращайтесь. Помогу с диагностикой.
💎 ИТОГ ОДИННАДЦАТОЙ ВСТРЕЧИ
Коллеги, сегодня мы разобрали самую нервную часть работы с ИИ-агентами — что делать, когда они ломаются.
Главное, что нужно вынести:
- Ошибки неизбежны — как и у людей, у машин бывают сбои
- Главное — быстро обнаружить и исправить — для этого нужны логи, мониторинг, процедуры
- Агент должен становиться умнее — учиться на ошибках и на обратной связи
- Сопровождение — это не разовая акция — это ежедневная рутина, которая экономит время в будущем
Как говорит мой друг, главный механик с Уралмаша: «Любой, даже самый умный станок, иногда ломается. Но глупый механик винит станок, а умный — ищет причину и устраняет её так, чтобы больше не ломалось».
Давайте будем умными механиками для наших цифровых помощников.
До встречи на финальной лекции!
Ваш Кирилл.
По этой ссылке вы можете скачать техническую версию лекций для ИТ-специалистов.