В то время как я думаю как с одной стороны к Обсидиану прикрутить LLM для формирования RAG, а с другой рабочие документы для наполнения базы

В то время как я думаю как с одной стороны к Обсидиану прикрутить LLM для формирования RAG, а с другой рабочие документы для наполнения базы Обсидиана. Выкатывают вот такое интересное решение. Буду внимательно щупать. Если нормально заработает на 4b или 6b модели. qwen, то замечательно заработает на ноуте даже без дискретки, только памяти нужно будет 32 гига. И тогда вот тебе и ассистент и база знаний. Прям сразу по полной встроится БЯМ в воркфлоу.

LLM Wiki - персональная база знаний, которая формируется сама собой.

LLM читает ваши документы, создает структурированную вики-систему и поддерживает ее в актуальном состоянии.

Возможности:

   - двухэтапная цепочка обработки информации: LLM сначала анализирует данные, а затем генерирует вики-страницы с отслеживанием источника и инкрементальным кэшированием.

   - граф знаний 4-Signal: модель релевантности с прямыми связями, пересечением источников, моделью Адамика-Адара и сходством типов.

   - Louvain Community Detection: автоматическое обнаружение кластеров знаний с оценкой сплоченности.

   - Graph Insights: неожиданные связи и пробелы в знаниях с помощью глубокого исследования в один клик.

   - векторный семантический поиск: опциональный поиск на основе встраивания данных через LanceDB, поддерживает любые конечные точки, совместимые с OpenAI.

   - постоянная очередь загрузки: последовательная обработка с восстановлением после сбоя, отменой, повторной попыткой и визуализацией хода выполнения.

   - импорт папок: рекурсивный импорт папок с сохранением структуры каталогов и контекста папок в качестве подсказки для классификации LLM.

   - глубокие исследования: поисковые запросы по темам, оптимизированные для LLM, многопоточный веб-поиск, автоматическая загрузка результатов в вики.

   - асинхронная система проверки: LLM помечает элементы для оценки человеком, предопределенных действий и предварительно сгенерированных поисковых запросов.

   - Chrome Web Clipper: захват веб-страниц одним щелчком мыши с автоматической загрузкой в ​​базу знаний.

https://github.com/nashsu/llm_wiki

Опубликовано в @gitgate

#ai #llm #wiki