Найти в Дзене
10,3 тыс подписчиков

🔥 RAG From Scratch🔥


RAG (Retrieval Augmented Generation) — метод работы с LLM, при котором пользователь пишет свой вопросы, а разработчик программно дополняет информацию из внешних источников и подает все целиком на вход языковой модели. Другими словами, в контекст запроса к языковой модели добавляется информация, на основе которой языковая модель может дать пользователю более полный и точный ответ.

Это огромный список материалов, который помогут вам лучше понять RAG с нуля, начиная с основ индексации, поиска и генерации. В плелисте короткие видео (5-10 минут) и блокноты с кодом.

📌 Rag с нуля.
▪Репозиторий:
https://github.com/langchain-ai/rag-from-scratch
▪Плейлист с видео:
https://youtube.com/playlist?list=PLfaIDFEXuae2LXbO1_PKyVJiQ23ZztA0x&feature=shared

📌 Как RAG может измениться с помощью LLMS с длинным контекстом.
▪Видео: https://youtube.com/watch?v=SsHUNfhF32s

📌Адаптивный Rag
▪Видео:
https://youtu.be/04ighIjMcAI
▪Код:
https://github.com/langchain-ai/langgraph/blob/main/examples/rag/langgraph_adaptive_rag_cohere .ipynb
▪Статья: https://arxiv.org/abs/2403.14403

📌 Проверки актуальности документов и возврата к поиску.
▪Видео:
https://youtube.com/watch?v=E2shqsYwxck
▪Код:
https://github.com/langchain-ai/langgraph/blob/main/examples/rag/langgraph_crag.ipynb
▪Статья: https://arxiv.org/pdf/2401.15884.pdf

📌 Исправление ошибок в RAG:
▪Код: https://github.com/langchain-ai/langgraph/blob/main/examples/rag/langgraph_self_rag.ipynb
Статья: https://arxiv.org/abs/2310.11511.pdf

📌Различные подходы для направления вопросов к нужному источнику данных:
▪Видео: https://youtu.be/pfpIndq7Fi8
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_10_and_11.ipynb

📌 Структурирование запросов
▪Видео: https://youtu.be/kl6NwWYxvbM
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_10_and_11.ipynb
▪Блог: https://blog.langchain.dev/query-construction/
2/ Глубокое погружение в graphDBs
: https://blog.langchain.dev/enhancing-rag-based-applications-accuracy-by-constructing-and-leveraging-knowledge-graphs/
3/ Структурирование запросов: https://python.langchain.com/docs/use_cases/query_analysis/techniques/structuring
4/ Самостоятельный поиск запросов: https://python.langchain.com/docs/modules/data_connection/retrievers/self_query

📌 Multi-Representation Indexing
▪Видео: https://youtu.be/gTCU9I6QqCE
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_12_to_14.ipynb
▪Статья: https://arxiv.org/pdf/2312.06648.pdf

📌 Группировка документов по схожести.
▪Видео: https://youtu.be/z_6EeA2LDSw
▪Код: https://github.com/langchain-ai/langchain/blob/master/cookbook/RAPTOR.ipynb
▪Статья: https://arxiv.org/pdf/2401.18059.pdf

📌 ColBERT
▪Видео: https://youtu.be/cN6S0Ehm7_8
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_12_to_14.ipynb
▪Статья: https://arxiv.org/abs/2004.12832

📌 Query Translation -- Multi Query
▪Видео: https://youtube.com/watch?v=JChPi0CRnDY
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_5_to_9.ipynb
▪Статья: https://arxiv.org/pdf/2305.14283.pdf

📌RAG Fusion
▪Видео: https://youtube.com/watch?v=77qELPbNgxA
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_5_to_9.ipynb
▪Код: https://github.com/Raudaschl/rag-fusion

📌 Query Translation -- Decomposition
▪Видео: https://youtube.com/watch?v=h0OPWlEOank
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_5_to_9.ipynb
▪Статьи: https://arxiv.org/pdf/2205.10625.pdf https://arxiv.org/pdf/2212.10509.pdf

📌 Query Translation -- Step Back
▪Видео: https://youtube.com/watch?v=xn1jEjRyJ2U
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_5_to_9.ipynb
▪Статья: https://arxiv.org/pdf/2310.06117.pdf

📌 Query Translation -- HyDE
▪Видео:
https://youtube.com/watch?v=SaDzIVkYqyY
▪Код: https://github.com/langchain-ai/rag-from-scratch/blob/main/rag_from_scratch_5_to_9.ipynb
▪Статья: https://arxiv.org/abs/2212.10496

@machinelearning
3 минуты