1304 подписчика
Весь день занимался вопросом RAG- систем, а точнее умных помощников для компаний.
На картинке показал, как работает простейший прототип. Нейронка отвечает на вопросы по нашему сервису clickfraud.ru и довольно шустро (1-2 сек. задержка). Причем я специально делаю орфографические ошибки.
Я просто взял текст с нашего сайта, включая базу знаний и т.п., подставил в ИИ и она начала очень внятно реагировать на типовые вопросы (а это 80% всех вопросов). Не устает, не просит зарплату :), не болеет, работает ночью (да вообще не отдыхает), не раздражается и т.п.
Работает на одной карте 3090 и на дообученной llama3.1. Сейчас мы делаем сайт (портал), куда вы сможете заливать pdf/word/excel/txt/csv и даже картинки и дальше система начнет отвечать по этим документам клиентам или сотрудникам.
Хочу в ноябре предложить всем желающим бесплатно работать :) Пока где там деньги я не придумал, ищу пользу...
p.s. добились очень правильных ответов с точки зрения русского языка на своей карте. С этим пришлось повозиться.... Но и это не идеал, т.к. ИИ сможет ответить на вопрос "кто такой Байден" и это плохо :) Таких ответов быть не может.
Около минуты
8 октября 2024