AI по Фейнману | Объясняет Денис Куров

Привет, друзья! На связи Денис Куров. На своем канале «AI по Фейнману» я разбираюсь в сложных AI-темах, чтобы вы могли применять их в бизнесе и IT. Сегодня мы поговорим о наболевшем: почему так много AI-проектов застревают на стадии прототипа и никогда не доходят до реальных пользователей? Несмотря на бум в разработке и доступность мощных LLM, лишь малая часть проектов приносит значимую коммерческую выгоду. В чем же дело? Проблема в том, что разработка на основе LLM кардинально отличается от традиционного программирования...

Привет! Это снова Денис Куров. В первой статье мы построили простую RAG-систему с фиксированными чанками по 1000 символов. Во второй — научились резать текст по смыслу с помощью семантического чанкирования. Но остался важный вопрос: какой размер чанка оптимален? Сегодня мы: 💡 Что вы получите: Готовый код и методику для выбора оптимального размера чанков, которую вы сможете применить к своим документам и задачам. Представьте, что вы готовитесь к экзамену и делаете шпаргалки: В этой статье мы заменим интуицию точными измерениями...

Привет! Это снова Денис Куров. В первой статье мы сделали простую RAG-систему: загружали PDF, резали на куски фиксированной длины, создавали эмбеддинги и искали ответы. Это работало, но был нюанс: мы резали текст просто по символам. Иногда предложения и даже смысл обрывались — это снижало точность поиска. В этой статье мы улучшим систему: теперь будем делить текст по смыслу — с помощью семантического чанкирования. 📌 Что такое семантическое чанкирование Аналогия: В прошлой версии мы делили фильм на куски по 10 минут — независимо от сюжета...

Привет! Меня зовут Денис Куров. Все мы знакомы с ChatGPT, но у него есть фундаментальная проблема: он не знает ничего о вашей компании, ваших документах и ваших процессах. Он обучен на данных из интернета и его знания устаревают. Дообучать такие модели — долго и невероятно дорого, что было доступно лишь IT-гигантам. До недавнего времени. Технология RAG (Retrieval-Augmented Generation) кардинально изменила ситуацию. Она позволяет даже небольшим компаниям использовать мощь больших языковых моделей (LLM) для работы со своими, приватными данными, причём без затрат на дообучение...

BPE (Byte Pair Encoding) — это алгоритм, который учит компьютер разбивать слова на осмысленные части. Слово: "investment" Этап 1: i-n-v-e-s-t-m-e-n-t (отдельные буквы) Этап 2: in-v-e-st-m-e-n-t (нашли частые пары) Этап 3: in-vest-ment (объединили еще больше) Результат: 3 токена вместо 10 букв! Этап 1: Подготовка → Разбиваем слова на символы + маркеры Этап 2: Анализ → Считаем частоту отдельных символов Этап 3: Биграммы → Ищем самые частые пары символов Этап 4: Слияние → Объединяем одну пару в...