Все техники RAG: Просто о сложном

Привет! Это снова Денис Куров. В первой статье мы сделали простую RAG-систему: загружали PDF, резали на куски фиксированной длины, создавали эмбеддинги и искали ответы. Это работало, но был нюанс: мы резали текст просто по символам. Иногда предложения и даже смысл обрывались — это снижало точность поиска. В этой статье мы улучшим систему: теперь будем делить текст по смыслу — с помощью семантического чанкирования. 📌 Что такое семантическое чанкирование Аналогия: В прошлой версии мы делили фильм на куски по 10 минут — независимо от сюжета...

Привет! Меня зовут Денис Куров. Все мы знакомы с ChatGPT, но у него есть фундаментальная проблема: он не знает ничего о вашей компании, ваших документах и ваших процессах. Он обучен на данных из интернета и его знания устаревают. Дообучать такие модели — долго и невероятно дорого, что было доступно лишь IT-гигантам. До недавнего времени. Технология RAG (Retrieval-Augmented Generation) кардинально изменила ситуацию. Она позволяет даже небольшим компаниям использовать мощь больших языковых моделей (LLM) для работы со своими, приватными данными, причём без затрат на дообучение...