24 Ноября в зале Мулен Руж на территории Яндекса прошло мероприятие, посвященное продукту, который должен вывести клиентскую поддержку в компаниях на новый уровень — Нейросаппорт.
На мероприятии рассказали про продукт с разных сторон: с точек зрения дизайна, аналитики и разработки, смежных продуктов и уже действующих пользователей из сервисов Яндекса.
В отличие от подобных мероприятий других компаний, данное мероприятие было интересно полезными инсайтами в каждом из докладов, а не просто рекламной пылью в глаза. Те инсайты, которые мне показались наиболее интересными, я записал в этой статье на Яндекс.Дзен.
Анализ текущей ситуации в клиентском сервисе
Мероприятие началось с интересного коллективного исследования от Натальи Бондарь, CPO Нейросаппорта. С одной стороны это уже избитый приём — все посетители отсканировали QR-код и проходили коллективно опросник, но с другой стороны, на мероприятии собрались руководители подразделений технической поддержки из разных организаций разных масштабов, благодаря чему получилось довольно честная усреднённая статистика.
В опросе про то, какие каналы связи чаще всего клиенты используют для связи, внезапно для спикера, на первое место встал телефон. Как сказала Наталья: «Голосовой канал — лидер, это удивительно»
Среди ключевых проблем, с которыми посетители сталкиваются в клиентском сервисе, больше всего отметили то, что пользователи не читают FAQ и необходимость поддерживать устаревшие способы автоматизации. На третьем месте в примерном паритете были варианты неактуальности базы знаний и отсутствие бюджета на найм дополнительных операторов.
При этом при оценке того, как бы посетители описали ИИ-помощника в поддержке, все отметили, что хотят видеть ИИ как автопилот для рутинных запросов, ускоритель обработки тикетов и единственный, кто читает все инструкции
В конце опроса было поле для свободного ввода, где респонденты вручную вписали что автоматизировано в поддержке на данный момент - было интересно почитать.
Несмотря на столь позитивную оценку перспектив ИИ, Наталья поставила точку в текущем положении дел. На данный момент у нас уже есть ИИ-Помощники, но еще нет ИИ-Агентов. Разница в том, что Агент должен уметь сам давать ответы полноценно, опираясь на источники информации добиваясь приемлемого уровня ответа с подтверждением. Пока это, к сожалению, не всегда возможно, поэтому следует использовать ИИ только как подсказчика.
Механика устройства Нейросаппорта в целом плюс-минус классическая для нейро-движков, и как у всех есть одна общая сложная точка построения — база знаний. Потому что с моделями не только в мире, но и в частности в Яндексе сейчас всё довольно хорошо, над ними работают лучшие математики, инструменты контроля и оценки ответов придумали уже десятилетия назад, а вот базы знаний они все разрозненны и их довольно тяжело собрать в единую целиковую конструкцию.
Практические метрики и работающие подходы к аналитике ИИ
Если к концу первого доклада было ощущение, что «всё это мы и так сами знаем, сами рассказываем», то следующий доклад от Егора Кашпара, разработчика ML Яндекс Нейросаппорта, заставил действительно уронить челюсь на пол от количества полезных цифр и мыслей.
С ходу начали с ответа на вопрос «Почему большинство ИИ-проектов не дают результата», и здесь казалось бы простые, но почему-то непонятные многим людям причины: Отсутствие метрик (что именно улучшаем с помощью ИИ?), Завышенные ожидания от внедрения (слепое желание получить результат других компаний без понимания предпосылок), Внедрение ради тренда (ИИ модно, давайте тоже делать ИИ).
Так как в Яндексе много людей, много операторов, специалисты смогли провести масштабное А/Б тестирование, в котором поучаствовала сотня операторов, оценивающих ответы ИИ на запросы клиентов от 1 (плохо) до 5 (идеально). Подавляющее большинство ответов, выдаваемых ИИ, было оценено на 1-2 балла, и лишь 10-20% ответов были оценены на 4-5. Тем не менее, на масштабах Яндекса даже такой уровень качественных ответов в итоге дает 15% средней экономии и сокращение времени обработки обращений примерно в два раза.
Интересно, что операторам давали выбор использовать или не использовать подсказки от ИИ, и среди тех, кто пробовал использовать — 60 процентов продолжили использование несмотря на частые неточности и необходимости исправлять (так как успешные ответы сделали своё дело).
При чем здесь речевая аналитика?
Сервис Yandex SpeechSense, который представлял менеджер проектов Артём Аверочкин — существовал задолго до Нейросаппорта и имеет довольно большую историю успеха на многих направлениях, но благодаря тому, что этот сервис не просто про распознавание голоса, он дал особые возможности для улучшения качества клиентского сервиса.
С одной стороны, даже если по словам клиент говорит стандартные запросы, по его интонации можно понять его недовольство, на сколько высок градус и как это может влиять на дальнейшую оценку сервиса. Например, если человек позвонил в плохом настроении, и ему помогли в рамках самых высоких стандартов по SLA, клиент может поставить низкую оценку просто потому, что был расстроен он негативного опыта до получения помощи. Бывают и обратные ситуации — когда оператор вроде говорит по скрипту, но кричит, срывается на клиента и даже если клиент в итоге поставил хорошую оценку (или вообще не поставил) — на это стоит обратить внимание.
От данных к действиям - применение на практике в Yandex Crowd
Самой вкусной вишенкой на торте стал доклад Виктории Сеневой, руководителя группы контроля качества и дизайна клиентского опыта Yandex Crowd. Это подразделение обрабатывает какое-то космическое количество обращений для более чем семидесяти сервисов Яндекса. Лучше посмотреть цифры со слайдов:
Одной из больших проблем для руководства Yandex Crowd было то, что отзывы о работе операторов оставляют в среднем лишь около 15% клиентов, и непонятно на сколько критичным являются 3% негативных отзывов. Если это 3% от всех 100% — кажется, что не всё так плохо… Но что если среди 85% не прошедших опроса, есть много тех, кто недоволен сервисом, но был на столько раздражен, что не стал тратить время на оценку сервиса (или просто было некогда).
Используя современные нейротехнологии, появляется возможность не только делать предложения по ответам, но и оценивать градус недовольства клиента на уровне общения с оператором (как текстом, так и голосом).
В кулуарах
Мероприятие было насыщенным и быстрым по программе, но неофициальная часть после была еще более интересной, потому что не под запись сотрудники Яндекса и других компаний рассказали очень много интересных инсайтов про свои успехи внедрения (или истории провала) искусственного интеллекта в поддержку, а так же в другие продукты.
Точно так же, как и в первом докладе, большинство сходилось в проблеме базы знаний. Это очень сложная, совсем неуниверсальная задача. Даже если большинство компаний используют связку Jira и Confluence, у всех всё организовано на столько по разному, что готовую коробку не сделаешь.
Еще одной важной проблемой стала проблема обоснования необходимости затрат на ИИ-поддержку. Там, где можно использовать сравнительно выгодное облачное предложение, кажется сложить экономику легко, но там где встаёт вопрос про On-Prem, выясняется, что техника очень дорого обходится и экономика по проекту перестаёт сходится.
Кажется, что если Нейросаппорт уйдет от потребности изучать API для интеграции и сделает коробочные решения (с лёгкой доточкой напильником) для аккумуляции данных из типовых источников знаний, это будет однозначная дорога к успеху.