Под капотом LLM: Разбираем архитектуру Трансформера

BPE (Byte Pair Encoding) — это алгоритм, который учит компьютер разбивать слова на осмысленные части. Слово: "investment" Этап 1: i-n-v-e-s-t-m-e-n-t (отдельные буквы) Этап 2: in-v-e-st-m-e-n-t (нашли частые пары) Этап 3: in-vest-ment (объединили еще больше) Результат: 3 токена вместо 10 букв! Этап 1: Подготовка → Разбиваем слова на символы + маркеры Этап 2: Анализ → Считаем частоту отдельных символов Этап 3: Биграммы → Ищем самые частые пары символов Этап 4: Слияние → Объединяем одну пару в...

Привет! Я Денис Куров, и сегодня мы поговорим о, возможно, самом недооцененном, но критически важном этапе в жизни любой языковой модели — о токенизации. Если вы думаете, что это просто техническая деталь, то вы сильно ошибаетесь. Это фундамент. Выбор токенизатора существенно влияет на эффективность, скорость и качество работы модели, хотя архитектура и данные играют не менее важную роль. Это первое и одно из самых весомых решений, которое принимают разработчики LLM (Large Language Models). 1. Что...