Найти в Дзене
32 подписчика

💥 Обсуждение создания AI-ассистента на базе локальной LLM


Всем привет! 👋
Мы с Алексом обсудили интересный проект, представленный на митапе AIDEA. Видео нашего диалога мы выложили в нашем канале dzen.ru/...f59

В центре внимания был доклад Алексея Гучко “Создание GPT-ассистента руководителя на базе локальной LLM модели” www.youtube.com/...asi

Хотим поделиться, что мы накопали и почему вам стоит на это обратить внимание.

🚀 Почему локальная модель?
Первый вопрос, который встал — почему локальная модель, а не готовое решение от крупного вендора? Ответ прост и логичен: защита данных и независимость. Когда речь идет о корпоративных данных, важно, чтобы они не уходили за пределы компании. А ещё, локальная модель позволяет настроить ассистента именно под свои процессы, что в современных условиях становится огромным плюсом.

💡 Классификация запросов и семантические деревья
Мы детально разобрали процесс классификации запросов и построение семантических векторов. Это оказалось ключевым моментом, позволяющим ассистенту находить именно ту информацию, которая нужна, избегая "галлюцинаций" модели. Оказывается, правильно настроенная даже небольшая модель на 8 миллиардов параметров может выдавать вполне приличные результаты.

🛠 LangChain: удобство или риск?
Особое внимание мы уделили использованию фреймворка LangChain. Вроде бы мощный инструмент, но слишком молодой и постоянно меняющийся. Это создает риски для долгосрочных проектов. Впрочем, для MVP он может быть идеальным выбором.

🤖 Реальные кейсы: экономия времени и нервов
Крутая штука: такой AI-ассистент позволяет руководителю быстро находить нужные данные, не бегая по всем Google Docs, Wiki и почте. И это реально экономит время и нервы. А что если распространить эту фичу на всю компанию? Представьте, насколько это может упростить жизнь аналитикам, инженерам и всем, кто тратит кучу времени на поиск информации.

💥 Наш главный вывод
Локальные LLM модели уже сейчас могут использоваться для построения AI-ассистентов. Причем даже в своих небольших вариациях, таких как LLama 3 с 8 миллиардами параметров, Безусловно это своего рода компромисс между качеством и производительностью. Но явно заметен растущий тренд качества генерации ответов маленьких LLM, так что если на текущий момент у вас нет возможности позволить себе дорогостоящую GPU, то вы смело можете начинать с них.

Самое главное то, что уже сейчас такие модели помогают оптимизировать рабочие процессы, а кому-то и избегать прокрастинации, что, согласитесь, круто!

Подписывайтесь на наш Telegram, чтобы получить больше полезных материалов и обсудить их с единомышленниками!

#AI #LLM #RAG #AIассистент #технологии #продукты
2 минуты