Андрей Карпаты, бывший директор по AI в Tesla, представил свою новую архитектуру LLM Knowledge Base, которая позволяет управлять данными более эффективно, обходя сложные системы Retrieval-Augmented Generation (RAG). Это решение крайне важно для разработчиков и исследователей, так как снимает ограничение контекста, которое мешает полноценной работе с AI.
Текущие проблемы AI и RAG
За последние три года подход RAG стал доминирующим для интеграции AI с собственными данными. В стандартной модели эти разбиваются на куски и преобразуются в векторные представления, хранящиеся в специализированных базах данных. Как показывает практика, разработчики часто сталкиваются с необходимостью повторного восстановления контекста, что значительно замедляет процесс работы.
По этим Карпаты, такая сложная система больше не — необходимой, особенно для средних объёмов данных. Он предлагает использовать единую систему Markdown-файлов, которые LLM использует для структурирования знаний и формирования связей между различными концепциями.
Как работает LLM Knowledge Base
Архитектура Карпаты разделена на три основные стадии:
- Сбор данных: Исходные материалы, такие как научные статьи и данные, помещаются в папку raw/, где затем конвертируются с помощью Obsidian Web Clipper в markdown-файлы. Это позволяет AI легко ссылаться на информацию, включая изображения.
- Компиляция: Вместо простого индексирования, LLM компилирует эти в структурированную вики. Конкретные задачи включают создание резюме и статья, а также взаимосвязь между концепциями через обратные ссылки.
- Активное обслуживание: Система постоянно обновляется. AI проводит проверки на наличие несоответствий, обновляя и исправляя информацию по мере необходимости, что делает её «живой» базой знаний.
Важно, что каждый вывод AI можно проследить до конкретного Markdown-файла, что решает проблему «черного ящика» обычно присутствующую в работе с векторными в embeddings.
Преимущества для бизнеса
Хотя на этот момент методология Карпаты выглядит как временное решение, её бизнес-потенциал огромен. многие компании сталкиваются с проблемой избыточного неструктурированного контента: внутренние вики, обсуждения в мессенджерах и отчёты PDF, которые требуют значительных ресурсов для анализа.
Как отметил предприниматель Вамши Редди, каждая организация может найти свои «сырые» данные, но мало кто из них ими эффективно управляет. Метод Карпаты открывает возможности для создания нового продукта, который сможет в краткие сроки упорядочить информацию и получать из неё ценность.
Что будет дальше
Применение LLM Knowledge Base в бизнесе может привести к пересмотру подходов к управлению данными, особенно в стартапах и малом бизнесе, которые могут извлечь выгоду из упрощения работы с большими объёмами информации.
The post Андрей Карпаты представил LLM Knowledge Base без RAG — новая эволюция AI appeared first on iTech News.