Предсказательный характер идей А.А. Маркова, В.В. Налимова, К.Э. Шеннона и Б. Грозного и их роль в становлении больших языковых моделей
Большие языковые модели стали для науки о языке тем же, чем транспорт стал для термодинамики: воплощением предсказательных идей в работающие механизмы. В начале этой линии, насколько мне известно, стоит А.А. Марков, который в своем известном сообщении 1913 года на материале текста А.С. Пушкина показал, что язык можно рассматривать как вероятностный процесс, где следующий шаг статистически зависит от предыдущего, и тем самым дал измеримый инструмент для разговора о структуре текста без мистики и без вкусовщины...