Закон неубывания энтропии --- один из фундаментальных законов. Все процессы протекают так, что энтропия возрастает. Вокруг этого понятия намешано много ерунды, потому что математически все довольно сложно. Затронем вопрос с неожиданной стороны...
Энтропия --- мера неупорядоченности системы. Если очень грубо, то это число способов поменять что-то в системе, чтобы ее наблюдаемые характеристики не изменились. То есть меняем на микроуровне, а макроуровень остается таким же. Пример с книгами по алфавиту хорош: если книги стоят по алфавиту, то это низкоэнтропийная полка. Поменять что-то, не нарушив порядок --- сложно. Если порядок где-то нарушен, то энтропия больше. Если же книги лежат кучей, то можно менять все, что угодно: куча останется кучей.
Еще пример --- бурное море имеет низкую энтропию, а штилевое --- высокую. Потому что бурное самопроизвольно становится спокойным, а вот наоборот --- никогда, разве что ветер (или еще что-то) закачает энергию.
Последний пример: все расклады в бридже равновероятны, но 4-3-3-3 не вызывает удивления, а про 13-0-0-0 будете внукам рассказывать. Потому что разных 4-3-3-3 очень много, а 7-0-0-0 всего четыре. У первого высокая энтропия, а у второго --- низкая. Однако в ходе игры все может поменяться, так как там уже важно, какие именно карты на руках игрока.
Черная дыра данного радиуса (имеется в виду радиус Шварцильда, он же радиус горизонта событий) имеет максимальную энтропию для данного объема. Потому что внутри можно менять все как угодно --- снаружи этого не будет видно.
Вероятностное распределение тоже обладает энтропией, и можно предполагать, что часто встречающиеся распределения имеют максимальную энтропию при тех или иных ограничениях. Давайте проверим! Наверняка узнаете что-то новое.
Энтропия дискретного распределения --- это сумма p(i) ln(p(i)), то есть сумма вероятностей, умноженных на логарифм вероятности. Если есть нулевые вероятности, величина 0ln(0) полагается равной нулю (по непрерывности). Для абсолютно непрерывного распределения сумма заменяется интегралом, а вместо p(i) --- функция плотности.
Неслучайное распределение, у которого p=1 в одной точке, энтропия равна нулю, что и понятно: там нет никакой неопределенности. Энтропийные распределения, доставляющие энтропии максимум, "самые случайные", самые непредсказуемые.
Многие знают, что энтропийным является равномерное распределение.
Действительно, если вероятность задана на конечном числе точек, то поиск максимума с ограничением "сумма вероятностей равна единице" показывает, что все вероятности равны. Это равномерное распределение.
Для абсолютно непрерывного распределения на отрезке нужно применить вариационное исчисление (полный аналог, а самом деле) и получить, что плотность постоянная. Это тоже равномерное распределение.
Однако для бесконечного (счетного) числа точек задача решения не имеет. Не имеет потому, что все вероятности должны быть равны, а их --- счетное множество. Если они все нуль, сумма будет нулевой, а если не нуль --- то бесконечной. Зануда скажет, что решения нет и не захочет разговаривать дальше.
В замечательной книжке "Понедельник начинается в субботу" правильный подход раскрыт во фразе "Мы знаем, что задача не имеет решения; мы хотим знать, как ее решать!".
Чтобы ее решить, надо зафиксировать еще математическое ожидание E. Теперь уже важны точки, на которых задана вероятность. Если это 0, 1, 2, и т.д., то метод Лагранжа приводит к
p(i) = A exp(-Bi),
что дает, после подстановки ограничений, p(i)=(1-q)q^i, где q=1/E.
Это геометрическое распределение, которое "не имеет памяти" и было на этом основании названо нами "самым случайным". И да, оно также и энтропийное. Неудивительно.
Аналогичное рассуждение для абсолютно непрерывного распределения на положительной полуоси приводит к экспоненциальному распределению.
Если взять луч x > a, получится сдвинутое экспоненциальное распределение. Однако для всей числовой прямой это уже не сработает.
Нужно задать еще дисперсию, или, удобнее, второй начальный момент: среднее от второй степени.
Дисперсия --- второй центральный момент --- равна второму начальному за вычетом квадрата от первого начального, оно же матожидание (или среднее).
Поиск максимума с тремя ограничениями --- интеграл вероятности единица, матожидание задано, дисперсия задана --- приводит к нормальному распределению. Энтропийность нормального распределения тоже общеизвестна.
Подведем итоги. Большинство распределений стандартного курса, так или иначе, энтропийные, при заданных ограничениях.
Конечно, любое распределение энтропийное, если правильно задать ограничения, но все же. Ограничения достаточно разумные и ненадуманные. Либо распределение получается из энтропийного... В общем, никуда от Закона не деться! Повсюду он. Так и живем.