#какэтоработает #интервью
Всем привет! Заметили, как быстро мы пересаживаемся на ИИ? Теперь LLM (Большие языковые модели) везде: в мессенджерах, в поисковиках, в чатах поддержки. Как формирует свои ответы LLM?
Сегодня в гостях у Техписалити! — создатель Робота Макса на Госуслугах и автор канала ИИ что дальше Никита Устриков. Спросили у Никиты, как же появляется база знаний для ИИ.
— Никита, для пользователей ответы нейромоделей — это некая магия, которая появляется внезапно. А как на самом деле она формирует ответ?
— Сама по себе большая языковая модель после обучения — это сложный механизм предсказания следующего слова. Она не думает, а генерирует текст, который статистически похож на человеческий. Как очень и очень продвинутый автопродолжатель.
— А чтобы нейромодель могла отвечать на вопросы пользователей по документации, мы можем просто скинуть ей текст?
— «Загрузка» документации в саму модель — это сложный процесс тонкой настройки. Например, в чатах поддержки используется RAG (Retrieval-Augmented Generation). Модель не ищет ответ в общих знаниях, а работает как умный анализатор: с помощью поиска мы находим вo внутренней базе знаний релевантные документы и передаём их модели. Её задача — проанализировать именно эти документы и сформулировать ответ.
— Если в документации переиспользуют фрагменты текста в разных частях документации, может это повлиять на результат поиска?
— Вряд ли переиспользование текста повлияет на качество генерации, то есть на работу самой нейромодели. Большое количество одинаковых фрагментов может повлиять на качество поиска, на его сбалансированность, и в этом случае генерация может ухудшиться.
— Если не говорить о разработке и Data Science, есть ли ещё какие-то особенности создания базы знаний именно для нейромодели?
— Важно подготовить ответы на предположительные вопросы, но не пытаться предугадать все. На старте любого сервиса 20% уникальных вопросов покрывают 80% запросов. В Роботе Максе есть система, которая анализирует диалоги операторов с клиентами, обезличивает их и предлагает сгенерированные ответы для базы знаний. Конечно, эти ответы проверяет человек. Но в целом это сокращает время реакции на новые, непредсказуемые запросы пользователей.
— Спасибо за ответы!
