Наши AI-сотрудники отупели. Мы три недели этого не замечали
Сегодня зашёл в чат бота с клиентами - первый раз за три недели. Ужаснулся.
Марина (наш AI-менеджер) отвечала как самый тупой скриптовый бот из 2015-го. Хотя под капотом - мощная модель, которая должна быть умнее живых сотрудников.
Три недели клиенты получали это. И молчали. Видимо, думали: ну бот, ему положено быть тупым.
Что произошло:
Месяц назад обновили структуру работы AI - чтобы быстрее отвечал и меньше ошибался. Аналитики протестировали, всё прошло. Запустили.
Проблема: тесты были по идеальному сценарию. В реальности клиенты пишут не так. Бот ломался на первом же нестандартном вопросе - и превращался в говорящий FAQ.
Что сделали:
Сегодня бросили всех разработчиков на исправление. Уже на 90% починили. Но главное - меняем подход:
- Тесты теперь пишут не аналитики, а люди, которые видят реальные диалоги с клиентами.
- Каждую неделю проверяем случайные 20 диалогов вручную. Без исключений.
- Регулярно собираем обратную связь.
Вывод:
Нет завершённых задач. Есть задачи, которые ты временно перестал проверять - и они начинают гнить.
Иногда полезно получить такой удар. Он заставляет пересмотреть всё, что ты "пустил на самотёк". Сегодня у нас такой день.
А если хотите помочь нам выявлять тупость (или наоборот - ум) наших AI-сотрудников, можете сами пообщаться с ними:
Марина и Константин работают в @Voronoi_info_bot - консультируют по белой логистике и считают ставки доставки из Китая.
Проверьте, починили мы их или нет 😅
