Часто получаю вопрос: "Наши программисты сами сделали бота и на тестовых вопросах работает отлично, но при ответах на реальные вопросы пользователей начинается треш. Как сделать супер промпт чтобы бот не глючил?".
Ответ простой: "Серебряной пули нет, задачу нужно разбивать на части и использовать разные инструменты для решения разных проблем".
Разработать своего чат-бота сейчас можно за пару часов, однако реальное продакшн решение потребует многомиллионные инвестиции. В посте расскажу, что нужно учитывать, принимая решение по созданию бота для поддержки клиентов.
Как работает типовое решение
- При создании бота вы даете ему документацию по продуктам и услугам компании, а также настраиваете жесткость ответов бота, варианты приветствий, логику работы в рабочие и нерабочие часы.
- Бот индексирует вашу документацию или сайт по продукту и затем отвечает на вопросы пользователей как человек. Под капотом ChatGPT или другая большая языковая модель (LLM).
- Вы тестируете ответы боты, задавая ему типовые вопросы.
- Вы выбираете через какой интерфейс бот будет общаться с пользователем. Обычно используются популярные хелпдески и чаты на сайтах, а также мессенджеры: HelpDeskEddy, Omnidesk, Юздеск, Freshchat, Битрикс24, Carrot quest, Jivo, Talk-me, WhatsApp, Telegram.
- Теперь бот готов.
- Когда пользователь задает вопрос, сначала с помощью семантического поиска в базе знаний находятся документы, наиболее подходящие по смыслу, затем из найденных документов с помощью LLM формируется ответ.
Я однозначно склоняюсь к использованию готовых продуктов и далее напишу аргументы.
Плюсы готовых продуктов
- Вам не нужно долго ждать, чтобы попробовать бота на реальных вопросах.
- Готовые продукт уже используются в других компаниях и гарантируют определенное качество ответов. При самостоятельной разработке, первые пол года, ваша команда поддержки и клиенты будут жаловаться на недостаточное качество ответов бота. Кажется, что достаточно взять вопрос пользователя и послать в LLM, но нет. Вот лишь несколько нюансов, которые требуют отдельных алгоритмов:
- Очень длинные или очень короткие сообщения от пользователей.
- Сообщения от пользователей, в которых больше одного вопроса.
- Идентификация и обработка приветствий, благодарностей и прочих элементов small talk.
- Обработка почт, номеров телефонов и других персональных данных.
- Фиксированные ответы на определенные типы вопросов.
- Уточняющие вопросы от пользователей.
- Иногда для правильного ответа, бот должен уметь задать уточняющий вопрос пользователю, т.е. ситуация зеркальная предыдущему пункту.
- Использование информации о пользователе из хелпдеска и других систем, чтобы бот больше понимал пользователя. - Большие языковые модели интенсивно развиваются. Можно потратить миллионы на содержание штата ML разработчиков, а затем обнаружить, что новые LLM умеют это из коробки. В готовых продуктах вы платите за использование и всегда можете перейти на другое решение.
Минусы готовых продуктов
Минусы типичны: зависимость от вендора, меньше контроля, невозможность добавить свои суперуникальные функции (большая красная кнопка).
Что посмотреть на Российском рынке
Заказная разработка: JustAI, Chatme.AI,
Хороший коробочный продукт AutoFAQ
Сервис по созданию чат-ботов для поддержки клиентов Wikibot
Другие компании или не проявляют признаков или ориентированы на большие заказы.
Если вам нужна помощь в выборе хелпдеска, чата на сайт и другого программного обеспечения для поддержки клиентов - пишите мне, помогу.