Оценивать эффективность работы чат-ботов нужно прежде всего с точки зрения их целевого использования. Если основная цель состоит в том, чтобы снизить нагрузку на операторов контакт-центра, то KPI для ботов будет процент запросов, обработанных и закрытых ботом без перевода на оператора.
Если бот является инструментом лидогенерации, то важен анализ конверсии в целевое действие, процент повторных обращений к боту.
Пройдёмся теперь по всем показателям подробнее.
Общие показатели оценки эффективности работы чат-ботов в обработке клиентских обращений:
1. Процент самостоятельно закрытых диалогов. Самый важный показатель для оценки общей эффективности работы бота, так как чем больше клиентов решили свой вопрос без обращения к оператору, тем больше компания сэкономила времени и ресурсов от внедрения бота. В разных областях деятельности этот показатель будет разным — к примеру, для интернет-магазина одежды хорошим показателем будет 40% автоматически закрытых заявок, а для медицинского учреждения — 5%. К примеру, у нашего клиента, сети косметики и парфюмерии «Золотое Яблоко», боты Sherlock Platform закрывают более 25% обращений клиентов.
2. Время ответа на запрос пользователя является важным показателем для интеллектуальных ботов и зависит от алгоритмов обработки запросов и структуры баз данных, из которых боты берут информацию. Если есть отказ от общения с ботом после одного или нескольких вопросов. то, возможно, дело в том, что клиенту не нравится смотреть как из букв медленно складываются слова.
3. Уровень удовлетворённости клиентов позволяет оценить, насколько клиенты довольны общением с ботом. Обычно для этого используется короткий опрос со шкалой оценки каждого показателя от 1 до 5. После закрытия диалога в Sherlock Platform автоматически подключается бот-контролёр, который просит клиента оценить общение с ботом с точки зрения точности ответа и удобства использования. Такая обратная связь помогает быстро отредактировать ошибочные или недостаточно информативные ответы, исправить и дополнить их.
Для ботов на основе ИИ важно анализировать количество диалогов, переведённых на операторов, потому что бот посчитал вопрос неоднозначным. Семантический анализ текстов диалогов поможет выявить ошибки в понимании запросов и научить бота отвечать правильно. Также анализ диалогов позволит выявить погрешности в сценарии, к примеру, если, бот на основе ключевых слов не может распознать вопрос, то в сценарии нужно прописать, чтобы он попросил клиента переформулировать запрос или перевести диалог на оператора.
В случае перевода диалога на оператора по запросу клиента нужно выяснить, почему он отказался от диалога с ботом изначально или прервал уже начавшийся диалог. К примеру, на старте бот не понятен в использовании — среди кнопок меню нет нужной темы, бот выдаёт неправильные ответы или перестаёт отвечать, так как в сценарии есть «узкое» место, где бот не знает, что должен делать.
Маркетинговые показатели оценки эффективности чат-ботов
Они будут специфическими для каждого вида бизнеса. Приводим два наиболее общих показателя:
1. Вовлечённость или процент повторных обращений клиента к боту. Количество запросов к чат-боту в определённый период времени говорит об его удобстве и эффективности. Бот должен быть интуитивно понятным и простым в использовании. К примеру, у нас есть кейсы по созданию бота, помогающего подбирать косметику по типу кожи, или моторное масло по информации об автомобиле. Клиенты пользуются подборщиком несколько раз прежде чем оформить покупку.
2. Процент достижения клиентами цели. В данном случае оценивается, было ли совершено целевое действие — к примеру, заполнена форма обратной связи, заявка на услугу, совершён переход на посадочную страницу сайта. Важно проанализировать все шаги пользовательского пути, чтобы понять, на каком этапе клиент «отвалился», где запутался, так как чем короче путь до целевого действия, тем вероятнее, что оно совершится. Оформление заказа в боте должно быть максимально простым.
В системе Sherlock Platform можно гибко настроить аналитику по всем перечисленным показателям, сформировать и импортировать отчёты в удобном виде отдельно по каждому боту из любого текстового канала. В отчёт можно добавить индивидуальные показатели, которые могут отображаться в числовом или % виде. По умолчанию в отчёте будут отображаться данные: удовлетворенность клиентов результатами общения с чат-ботом на основе опроса, отправляемого после закрытия диалога; процент диалогов, закрытых ботом; процент диалогов, переключенных на операторов; среднее время диалога с ботом, причины обращений и т.п.