В прошлых двух частях этой мини-серии статей (часть 1, часть 2) мы с помощью нехитрой модели менового рынка обнаружили, что его равновесное состояние описывается экспоненциальным распределением, известным в статистической физике, как распределение Гиббса. К такому распределению условного богатства рынок приходит из любого другого начального состояния, так как если бы оно было в каком-то смысле "наиболее выгодным" для всей системы в целом.
Мы знаем что природа "решая" многие механические и физические задачи, стремится к оптимизации, выражаемой в максимальном уменьшении потенциальной энергии в статике, или к наименьшему действию в динамике. Сложные термодинамические системы стремятся к равновесию, которое можно описать, как состояние с минимумом порядка или максимумом энтропии. Вот об этом понятии мы сегодня и поговорим.
Дао выраженное словами — не есть истинное Дао
Термодинамическое равновесие можно описать разными способами. Во-первых, равновесным должно быть стационарное состояние, в котором система может находиться неограниченно долго, не изменяя своих макроскопических параметров, и не образуя внутри себя упорядоченных потоков вещества и энергии. Во-вторых, такое состояние должно быть устойчивым, это значит, что если вывести систему из равновесия, она будет стремиться к нему вернуться. В-третьих, равновесное состояние соответствует наиболее вероятному состоянию системы из всех возможных. Оно чаще наблюдается, и система со временем будет стремиться попасть в равновесие из любого другого состояния.
Наши имитационные эксперименты демонстрируют все эти критерии равновесности: придя к экспоненциальному распределению, система в нём и остается, к тому же, в эксперименте легко убедиться, что из любого произвольного распределения мы, по истечении какого-то времени, снова придём к экспоненциальному. Но это ещё не доказательство, а только намёк, что мы, скорее всего, имеем дело с равновесием. Нужен какой-то формальный измеримый критерий, который однозначно указал бы нам, что система равновесна без необходимости ждать бесконечно долго или перебирать все возможные первоначальные распределения. Это был бы полезный критерий, который можно было бы применять и к реальному рынку, без необходимости проводить рискованные эксперименты на живых людях.
Размышления о равновесии привели физиков к одному фундаментальному понятию, которое слышали, наверное, все, но объяснить толком и, тем более, использовать, способны немногие — к энтропии. Она постепенно вышла за пределы термодинамики и так понравилась ученым всех направлений, философам и даже широкой публике, что это сугубо термодинамическое понятие получило нынче ореол загадочности, непостижимости и бог знает ещё чего.
Достаточно простое и специальное, понятие энтропии приобрело в сознании широких масс репутацию необъяснимо управляющей миром концепции. Это связано с тем, что термодинамика описывает на очень высоком уровне абстракции системы самой разнообразной природы: от физических, химических и биологических до социальных, экономических и даже чисто гуманитарных. После школьного курса, правда, остаётся ощущение, что термодинамика — это про скучный идеальный газ, какие-то поршни и невозможный цикл Карно. Такое весьма одностороннее представление связано с тем замечательным фактом, что термодинамика, будучи одной из самых абстрактных и универсальных разделов естествознания, элегантно решает прикладные задачи, которые могут быть поняты школьниками и при этом оказаться полезны в промышленности. Этого не скажешь, например, о теории категорий или топологии — тоже весьма абстрактных, универсальных и, несомненно, полезных дисциплинах, но в повседневных задачах почти не встречающихся.
Итак, на сцену выходит энтропия. Создателю термодинамики Рудольфу Клаузиусу, а позже Джосайе Гиббсу и Людвигу Больцману потребовалась количественная характеристика равновесности, которая говорила бы о вероятности наблюдать указанное состояние системы или её частей. Причём, эта величина, отражающая вероятность, мультипликативную для ансамбля, должна быть аддитивной функцией состояния, чтобы можно было бы вычислить её для системы, складывая значения, вычисленные для её частей. Когда мы искали подходящую функцию для распределения Гиббса, мы исходили из того, что она должна превращать аддитивный аргумент в мультипликативное значение. При поиске выражения для энтропии мы нуждаемся в функции, мультипликативной по аргументу и аддитивной по значению:
Это функциональное уравнение решает логарифмическая функция, обратная показательной. Энтропия состояния сложной системы может быть выражена как ожидаемое значение для логарифма вероятности наблюдения состояния всех её частей, или, по Больцману, как логарифм числа способов, которым можно реализовать это состояние системы. При этом более вероятному состоянию соответствует большее значение энтропии, а равновесному — максимальное из возможных.
Число способов, которыми можно реализовать то или иное состояние, зависит от числа ограничений или условий, при которых это состояние может реализоваться. Чем меньше таких ограничений, тем более вероятным является состояние и тем больше значение его энтропии. Эти ограничения и условия имеют смысл информации о состоянии. Отсюда возникла идея о том, что энтропия отражает степень нашего незнания о системе: чем меньше нам о состоянии известно, тем больше его энтропия. Позже Клод Эдвуд Шеннон обобщил это понятие для любых систем, содержащих в себе информацию, в том числе и для распределений случайных величин. Вот что у него получилось: для случайной величины x, определяемой функцией вероятности p(x) энтропия определяется следующим образом:
где суммирование производится по всем значениям x, в которых p(x) > 0. Таким образом, мы имеем возможность вычислить энтропию состояния любой сложной системы, располагая её статистическим описанием.
Каждому распределению случайной величины: неважно, задаваемому аналитически или полученному экспериментально в виде гистограммы, можно поставить в соответствие положительное число — его энтропию. Это, в свою очередь, даёт нам возможность сравнивать их между собой, определяя более или менее равновесные и вероятные распределения для заданных условий. Более того, для некоторого класса распределений можно выделить распределение с максимальной энтропией, причём, только одно. Классы определяются ограничениями, или мерой нашего знания о статистических свойствах системы. Приведём самые важные примеры распределений, имеющих наибольшую энтропию:
Знакомые всё лица! Это очень часто используемые распределения, которые статистики применяют к широчайшему классу задач. Их универсальность обусловлена именно тем, что они, имея максимальную энтропию, наиболее вероятны и наблюдаемы чаще других. К ним, как к равновесным, стремятся многие распределения реальных случайных величин.
Самым свободным от ограничений является нормальное распределение: оно требует минимума информации о случайной величине. Меньше уже не получится: если мы укажем лишь среднее значение, то стремясь увеличить энтропию, распределение «размажется» по всей числовой оси. Зато, если мы знаем лишь среднее значение, но при этом ограничим случайную величину положительными значениями, то равновесное распределение будет однозначным — экспоненциальным. Именно этот случай мы и наблюдали в нашем эксперименте с рынком. Нам заранее было известно лишь то, сколько денег мы выдали каждому игроку и то, что количество денег в системе неизменно. Эта информация фиксирует среднее значение. А так как деньги у нас величина положительная, вероятнее всего, в равновесии мы получим именно экспоненциальное распределение.
Вот как изменяется энтропия нашей системы, по мере приближения модели рынка к равновесию.
Обратите внимание на то, что ось X на графике логарифмическая, с одной стороны, благодаря этому мы сможем одинаково внятно увидеть как начальные этапы развития модели, так и её поведение для очень большого числа обменов, а с другой, логарифмическая шкала позволит чётко разделить отдельные этапы эволюции модельной системы.
Начальное состояние (вырожденное) имеет практически нулевую энтропию, о том, что это значит, мы скажем чуть позже. Первые десятки обменов до состояния лишь немного увеличивают энтропию, распределение всё равно остаётся близким к вырожденному. Но далее распределение становится очень похожим на нормальное, начинается диффузионный процесс, сопровождающийся линейным ростом энтропии. Если вы посмотрите в таблицу, то увидите, что энтропия нормального распределения пропорциональна логарифму от стандартного отклонения, именно эту пропорциональность и показывает нам график энтропии в выбранном нами логарифмическом масштабе. Теперь мы можем интерпретировать появление здесь нормального распределения, как наиболее вероятного для случайной величины, о которой мы знаем лишь её среднее (оно остаётся неизменным) и дисперсию (она растёт, как в процессе случайного блуждания). Наконец, в состоянии система начинает «чувствовать» дно и симметричность распределения нарушается, после чего, оно постепенно достигает равновесного.
Не знаю как читателю, а мне показалось обидным, что изначально справедливое распределение после серии абсолютно симметричных и беспристрастных обменов само по себе приходит к несправедливости. Коэффициент Джини для экспоненциального распределения в точности равен 1/2 и при таком распределении половина всех денег принадлежит богатейшим 20% группы. С другой стороны, может порадовать, что эта несправедливость возникает не вследствие греховной человеческой натуры, а из-за натуры больших ансамблей взаимодействующих частиц.
Но наша модель предельно проста. Существует множество её модификаций: обмен может происходить не одним рублём, а случайной величиной, ограниченной состоянием дающего, при этом можно давать деньги не какому-то одному игроку, а распределять случайным образом. Пока мы не вводим в игру новых параметров, все эти модификации не меняют форму равновесного распределения богатства — оно остаётся экспоненциальным. Многие исследователи отмечали эту особенность моделей рынка. В этом можно убедиться с помощью имитационного моделирования, но приводить картинки для различных способов обмена не интересно — они все будут одинаковы. Интересна модель, построенная Драгулеску и Яковенко из Мерилендского университета. В ней игроков объединяют в некие «компании» и далее имитируется взаимодействие компаний с игроками-работниками и игроками-покупателями. Но и в этом, уже достаточно сложном случае, равновесным является экспоненциальное распределение, безразличное к выбираемым параметрам модели.
Чтобы продемонстрировать универсальность принципа максимума энтропии давайте искусственно ограничим сверху уровень богатства отдельного игрока, запретив ему получать деньги, если у него уже есть некая фиксированная сумма. Равновесное распределение, конечно же, изменится. А в случае, если правая граница будет равна удвоенному среднему значению, то мы приходим к случаю, описанному в первом ряду таблицы. Действительно, ограничивая случайную величину конечным отрезком и не указывая больше ничего, мы не можем предположить никакого другого ожидаемого значения среднего, кроме середины этого отрезка. Следовательно, равновесным распределением при таком варианте должно быть равномерное. Давайте проверим, так ли это?
А что будет при нарушении симметрии, то есть, если мы сдвинем правую границу вправо или влево?
Распределение достатка перестало быть равномерным, приобретя форму ограниченного экспоненциального. При смещении правой границы влево в равновесии богатых игроков стало больше, чем бедных. Если мы «загрубим» гистограмму, оставив лишь два столбца, то получим распределение Бернулли, показывающее какова вероятность оказаться условно «бедным» или «богатым». Когда значения случайной величины ограничены всего двумя значениями, распределение Бернулли — единственный выбор, он же, естественно, доставляет максимум энтропии. Но обратите внимание на то, что энтропия наших модельных распределений стремится именно к тем значениям, которые предсказываются распределением Бернулли. Коэффициенты Джини для двух этих случаев равны 0.43 и 0.2, соответственно.
Загадочная и могущественная энтропия — это, конечно, солидно и, возможно, даже убедительно. Но почему же при симметричном обмене, бедных становится больше, чем богатых? Почему мода равновесного распределения равна нулю? Надо, как говорят физики, разобраться в кинетике процесса, то есть в судьбе отдельных частиц. Мы не ошиблись, предположив, что модель случайного блуждания описывает изменение состояния отдельного участника торгов: он с равной вероятностью совершает шаги как вверх, так и вниз. А для случайного блуждания выполняется один знаменитый закон подлости: проклятие игрока. Напомню, что он состоит в том, что при достаточно долгом наблюдении, случайно блуждающая частица обязательно окажется в любом наперёд указанном месте. При этом ожидаемое расстояние, на которое частица удалится от какой-либо начальной точки, оказывается пропорционально квадратному корню от числа шагов. Всё это приводит к тому, что если частица начинает свой путь вблизи нуля, то она с высокой вероятностью его достигнет, а так как ноль в нашей задаче — это непроницаемая граница, то она будет вынуждена вновь и вновь начинать свой путь около нулевой точки, испытывая пресловутое проклятие. По мере удаления частицы от нуля, вероятность к нему вернуться уменьшается и у богатых становится больше шансов сберечь своё состояние. Но тогда что же мешает частице удалиться сколь угодно далеко, а конкретному игроку стать сколь угодно богатым? Вообще-то, ничего, кроме конечности денег в системе — экспоненциальное распределение отлично от нуля на всей положительной полуоси. Но для того чтобы достичь невероятного богатства по правилам нашей игры, нужно чтобы все игроки случайно выбирали одного и того же игрока раз за разом. И в первый-то раз вероятность такого выбора составляет одну миллиардную для группы из десяти человек (девять человек должны одновременно сделать случайный выбор, имеющий вероятность 1/10), а уж повторить это много раз не нарочно и вовсе невероятно. Выбор кому отдать деньги в нашей модели падает на всех одинаково, а это значит, что доставаться он будет не только богатым, но и бедным. Есть в этом мире справедливость, хоть и торжествующая совсем недолго, для того кто небогат.
Продолжение здесь:
