Когда говорят «точный ИИ», чаще всего представляют Большую языковую модель, которая якобы всё знает и почти не ошибается. Кажется логичным: если модель мощная, значит она разберётся и даст правильный ответ.
Я сам задался вопросом: почему наш бот такой точный? Оказалось дело не только в том, что он быстро ищет ответы или выдаёт ссылки. За этим стоит целая система, хитро устроенная командой разработчиков, с проверкой, структурированием вопросов и аккуратным подбором информации. Я начал разбираться
Система не проверяет факты. Её задача — выдать максимально правдоподобный ответ. Если данных не хватает, она всё равно постарается завершить мысль так, чтобы текст выглядел «правильным». И это не злой умысел, а принцип работы.
Именно поэтому мы в “Словософт” не строили продукт вокруг LLM - нам не требовалось, чтобы система «думала сама» и свободно интерпретировала данные.
Сначала мы выстроили архитектуру поиска, где факты извлекаются строго из базы клиента через отдельный механизм. Документы разбиваются на фрагменты, индексируются, проходят через векторный поиск. И только после того, как найдены конкретные куски текста, подключается модель.
Она не имеет прямого доступа ко всей базе. Не читает документы целиком и не принимает решений о том, что считать истиной. Мы как бы «кормим» ее кусочками через маленькую дырочку. Модель получает только то, что нужно для конкретного запроса и не имеет доступа ко всей базе целиком. Это снижает риск ошибок и утечек, и при этом даёт возможность формулировать ответы на человеческом языке.
Это похоже на голосовых ассистентов, правда? Там логика простая: пользователь спросил — система старается ответить максимально широко, опираясь на весь доступный материал, собранный из всех уголков интернета. Это удобно в бытовых сценариях, где можно немного «додумать».
Однако наша команда придерживается немного другой философии. Бот работает не как открытый ассистент, а как узкоспециализированный аналитик, который опирается только на реальную базу. Представьте человека, который выполняет одну и ту же работу много лет, день за днем. Для него важен результат, а еще больше его качество.
Так же можно сказать и про бота, сделанного командой разработчиков “Словософта”. Точность его ответов достигается не только за счёт технологии, но и благодаря тестированию. Егор, наш тестировщик, проверяет каждый элемент: от правильного разбиения вопросов до того, что ответы отображаются корректно и ссылки ведут туда, куда нужно. Это как финальная проверка перед выходом на публику — бот может быть олимпийским гимнастом, но без тестов легко упасть. И у нас бот падал, правда, только один раз, причем ему подставили “подножку”).
Дело было так: у клиента через полгода после активной эксплуатации «сломался бот» — то есть перестал давать ожидаемые ответы. На первый взгляд казалось, что проблема на нашей стороне. Но после разбора всех логов, проверок и данных выяснилось, что бот работал правильно, а изменения в базе клиента внесли рассогласование, которое без анализа было невозможно выявить.
Мы подробно рассказывали об этом случае в отдельном материале — сюда можно перейти и почитать подробнее о том, как мы чинили бот: https://vk.com/wall-225426719_70
Такой вот наш бот — аккуратный, точный, местами параноик, но в хорошем смысле, умеющий разбирать сложные вопросы, искать ответы по нескольким направлениям и выдавать их так, чтобы пользователю всё было понятно. Он безопасный, надёжный и при этом немного хитрый — всегда знает, где достать нужную информацию, и при этом не придумывает лишнего.