Найти в Дзене
109 подписчиков

So i tried GPT (LLM)

Начинаем рубрику прикладного использования локального GPT для решения задач внутри компании :)
Буду описывать что делал, зачем, что получалось, что не получалось и фиксировать это в виде конкретных кейсов использования.
В работе будем использовать локальный компьютер с установленной lmstudio.ai
Характеристики компьютера:
Процессор - I3-12600
Видеокарта - Nvidia 3090 (модель запускается на 12и гиговой 3080 без проблем)
Жесткий диск - SSD 512gb
Требования:
1. Все должно запускаться локально (ChatGPT не используем по причине блокировок)
2. Запрос должен быть дешевым (пока подберешь нужный промпт на платных площадках, бюджет уже закончится)
3. LLM должна уметь доставать данные из локальных документов (использование базы знаний)

Иное ПО:
1. n8n.io - для создания процессов, чтобы визуально было и красиво
2. totum.online - для хранения промежуточных каких-то запросов, хранения данных и тд

Цели проекта:
1. Реализовать анализ телефонных разговоров отдела продаж (amocrm->whisper->дашборд по разговорам)
2. Анализ различных чатов (с клиентами, информационные, внутренние)
3. Создать простой интерфейс получения доступа к внутренней базе знаний компании (например: дай мне регламент для прораба по укладке паркета)
И так далее. GO-GO-GO
1 минута