Сегодня, когда каждую неделю выходят новые LLM — от закрытых гигантов до опенсорс-экспериментов, многие начинают испытывать лёгкое дежавю. Ведь шум вокруг ИИ напоминает цикл моды: сначала восторг, потом раздражение, потом растерянность, а в итоге скука. Автор статьи Markov chains are the original language models честно признаётся — он дошёл до стадии скуки и решил вернуться к истокам, к цепям Маркова.
И это, на мой взгляд, отличный пример того, что фундаментальные идеи в ИИ не теряют актуальности.
🔎 Что такое цепи Маркова в контексте языка
Цепь Маркова — это математическая модель, описывающая вероятностные переходы между состояниями. В случае с текстом состояние — это слово, а переход — вероятность появления следующего слова.
Представьте, что мы строим матрицу переходов, где строки и столбцы — это слова словаря. Если слово fruit в тренировочном тексте часто сопровождается словом is, то в ячейке (fruit → is) будет высокая вероятность. Таким образом, автодополнение сводится к умножению вектора состояния на матрицу переходов.
⚙️ Технические детали реализации (на примере Rust)
Автор статьи приводит реализацию на Rust с компиляцией в WebAssembly. Схема проста, но показательна:
🍊 Словарь — строим список всех уникальных слов.
📊 Матрица переходов — подсчитываем, сколько раз каждое слово встречается после другого.
🔢 Нормализация — превращаем частоты в вероятности.
➡️ Применение — берём последнее слово, превращаем его в вектор состояния (все нули, кроме одного), умножаем на матрицу и получаем вероятностное распределение для следующего шага.
На выходе получаем примитивный autocomplete. Да, он скучен по сравнению с GPT-5, но в этом и есть красота: всё прозрачно, объяснимо и полностью управляемо.
🚗 Аналогия с «олдтаймерами»
Автор сравнивает цепи Маркова со старыми автомобилями: да, они менее эффективны, но куда приятнее «ковыряться под капотом», чем в современных «зашитых» системах. Я бы добавил: именно такие модели помогают понять механику вероятностных систем без магии миллиардных параметров.
💡 Моё видение
Современные LLM — это матрёшки из статистики и оптимизации, доведённые до предела. Но в основе — те же цепи вероятностей.
Я вижу ценность возвращения к Маркову в нескольких аспектах:
📚 Образование — студенты могут «потрогать руками» вероятностную модель языка, прежде чем бросаться в трансформеры.
🧪 Эксперименты — цепи Маркова отлично подходят для генеративного арта, «игрушечных» ботов и процедурного контента в играх.
🔐 Прозрачность — когда нужна интерпретируемость, простые вероятностные модели могут оказаться полезнее, чем чёрный ящик из 200B параметров.
Именно поэтому я бы не стал списывать такие подходы со счетов. Иногда шаг назад — это не регресс, а возможность лучше понять, куда двигаться дальше.
🔗 Источник: Markov chains are the original language models