AI по Фейнману | Объясняет Денис Куров

Привет, друзья! На связи Денис Куров. На своем канале «AI по Фейнману» я разбираюсь в сложных AI-темах, чтобы вы могли применять их в бизнесе и IT. Сегодня мы поговорим о наболевшем: почему так много AI-проектов застревают на стадии прототипа и никогда не доходят до реальных пользователей? Несмотря на бум в разработке и доступность мощных LLM, лишь малая часть проектов приносит значимую коммерческую выгоду. В чем же дело? Проблема в том, что разработка на основе LLM кардинально отличается от традиционного программирования...

Привет! Это снова Денис Куров. В первой статье мы построили простую RAG-систему с фиксированными чанками по 1000 символов. Во второй — научились резать текст по смыслу с помощью семантического чанкирования. Но остался важный вопрос: какой размер чанка оптимален? Сегодня мы: 💡 Что вы получите: Готовый код и методику для выбора оптимального размера чанков, которую вы сможете применить к своим документам и задачам. Представьте, что вы готовитесь к экзамену и делаете шпаргалки: В этой статье мы заменим интуицию точными измерениями...

Привет! Это снова Денис Куров. В первой статье мы сделали простую RAG-систему: загружали PDF, резали на куски фиксированной длины, создавали эмбеддинги и искали ответы. Это работало, но был нюанс: мы резали текст просто по символам. Иногда предложения и даже смысл обрывались — это снижало точность поиска. В этой статье мы улучшим систему: теперь будем делить текст по смыслу — с помощью семантического чанкирования. 📌 Что такое семантическое чанкирование Аналогия: В прошлой версии мы делили фильм на куски по 10 минут — независимо от сюжета...

Привет! Меня зовут Денис Куров. Все мы знакомы с ChatGPT, но у него есть фундаментальная проблема: он не знает ничего о вашей компании, ваших документах и ваших процессах. Он обучен на данных из интернета и его знания устаревают. Дообучать такие модели — долго и невероятно дорого, что было доступно лишь IT-гигантам. До недавнего времени. Технология RAG (Retrieval-Augmented Generation) кардинально изменила ситуацию. Она позволяет даже небольшим компаниям использовать мощь больших языковых моделей (LLM) для работы со своими, приватными данными, причём без затрат на дообучение...

BPE (Byte Pair Encoding) — это алгоритм, который учит компьютер разбивать слова на осмысленные части. Слово: "investment" Этап 1: i-n-v-e-s-t-m-e-n-t (отдельные буквы) Этап 2: in-v-e-st-m-e-n-t (нашли частые пары) Этап 3: in-vest-ment (объединили еще больше) Результат: 3 токена вместо 10 букв! Этап 1: Подготовка → Разбиваем слова на символы + маркеры Этап 2: Анализ → Считаем частоту отдельных символов Этап 3: Биграммы → Ищем самые частые пары символов Этап 4: Слияние → Объединяем одну пару в...

Привет! Я Денис Куров, и сегодня мы поговорим о, возможно, самом недооцененном, но критически важном этапе в жизни любой языковой модели — о токенизации. Если вы думаете, что это просто техническая деталь, то вы сильно ошибаетесь. Это фундамент. Выбор токенизатора существенно влияет на эффективность, скорость и качество работы модели, хотя архитектура и данные играют не менее важную роль. Это первое и одно из самых весомых решений, которое принимают разработчики LLM (Large Language Models). 1. Что...

Привет! На связи блог «AI по Фейнману». Наша цель — разбираться в сложных технологиях простыми словами. Представьте ситуацию: вы загружаете в ChatGPT 50-страничный договор и спрашиваете про важный пункт на странице 25. Модель отвечает: «Не могу найти информацию об этом в предоставленном документе». А пункт там есть! Или другой случай: в длинном диалоге модель вдруг «забывает», о чём вы говорили в начале, и начинает переспрашивать. За эти ситуации отвечает контекстное окно — одна из ключевых характеристик, которая определяет, на что на самом деле способна модель...

Всем привет! На связи Денис Куров, и вы на канале «AI по Фейнману». Как вы знаете, мой принцип – чтобы по-настоящему в чем-то разобраться, нужно попытаться это объяснить. Сегодня разберем ошибку, которая стоит вам времени, денег и нервов при работе с AI. Давайте на секунду забудем про AI. Представьте, что вы пришли в автосервис и говорите мастеру: «Мне нужно, чтобы вы проверили давление в левом переднем колесе и подкачали его до 2.2 атмосфер». Мастер пожимает плечами, выполняет задачу и отдает вам машину. Вы уезжаете, но через 15 минут машину снова уводит в сторону. Вы возвращаетесь злой, а мастер...