Большие языковые модели стали для науки о языке тем же, чем транспорт стал для термодинамики: воплощением предсказательных идей в работающие механизмы. В начале этой линии, насколько мне известно, стоит А.А. Марков, который в своем известном сообщении 1913 года на материале текста А.С. Пушкина показал, что язык можно рассматривать как вероятностный процесс, где следующий шаг статистически зависит от предыдущего, и тем самым дал измеримый инструмент для разговора о структуре текста без мистики и без вкусовщины. Затем появляется В.В. Налимов, и здесь важно подчеркнуть: он не просто говорит “о языке”, он, как математик, говорит о языке как о вероятностной системе, о статистической модели смыслов, о попытке описывать семантику математически, как распределение возможностей, которое уточняется контекстом. Возможно, разработчики современных языковых моделей напрямую не опирались на В.В. Налимова, и в англоязычном каноне его имя звучит тише, но по смыслу его вклад сопоставим с теми авторами, которых сначала недослышали, а потом переоткрыли, как переоткрыли Г. Менделя, когда наука дозрела до его масштаба. Дальше следует обратить внимание на К.Э. Шеннона, он делает для языка то, что классики термодинамики сделали для тепла: вводит меру неопределенности и строгие критерии качества, после чего предсказание следующего шага превращается в проверяемую дисциплину, где модели можно сравнивать так же честно, как сравнивают двигатели по КПД и тяге. Важно отметить, что этот предсказательный нарратив работал не только на уровне формул, но и как практический инструмент дешифровки: Б. Грозный в 1915 году, анализируя хеттские клинописные таблички, опирался в том числе на частотные закономерности и повторяемость форм, чтобы обосновать индоевропейскую природу хеттского языка, то есть показал, как статистика текста помогает извлекать скрытую грамматику и находить родство языков. На этом фундаменте начинается инженерная эпоха: гигантские корпуса текстов, вычислительные мощности, новые архитектуры, и вот предсказание следующего шага перестает быть кабинетной идеей и становится мотором, который тянет за собой целую индустрию, как когда-то тянули индустрию паровая машина и двигатель внутреннего сгорания.
Но эта аналогия работает и в обратную сторону, и тут становится видно, что “текстуальность” не просто описывает транспорт, она в каком-то смысле и есть его скрытая форма существования. Любой автомобиль, самолёт или тепловоз можно увидеть как распределение вероятностей, как предсказуемую сборку: каждая деталь почти с единичной вероятностью “находит” своё место в общей конфигурации, потому что её форма, допуски, материал и функция заранее вписаны в систему связей с другими деталями. Это похоже на грамматику, только вместо слов - узлы и элементы, а вместо синтаксиса - посадочные размеры, стандарты, интерфейсы, протоколы соединений. В этом смысле транспортное средство тоже текстуально: оно существует сначала как слой языка, как набор описаний, формул, чертежей, спецификаций, инструкций, то есть как “код”, удерживающий структуру, а затем этот код компилируется в металл, пластик и движение. Мы привыкли думать, что тексты описывают машины, но точнее будет сказать иначе: машины рождаются из текстов, и потому их устройство само похоже на текст, где вероятность, повторяемость, правила сочетаемости и контроль ошибок не метафора, а инженерная реальность.
Я.В. Богданов, yarik@yabogdanov.ru