В предыдущей статье мы оставили демона Максвелла в очень интересном положении. Он, оказывается, не нарушает второй закон термодинамики, потому что платит за свою работу информацией. А информация, как выяснилось, имеет физическую цену.
Но что это вообще значит — «информация имеет цену»? Информация — это же не вещь. Это что-то абстрактное, идеальное. Как она может быть связана с железными законами термодинамики, с теплом, с энергией, с молекулами?
Оказывается, может. И эта связь — одно из самых глубоких открытий XX века, изменившее наше представление о реальности.
Сегодня мы разберемся, как информация стала физической величиной, почему ее количество измеряют в тех же единицах, что и хаос, и как знание буквально упорядочивает мир вокруг нас.
1. Два гения, две энтропии
В истории науки редко бывает, чтобы одно и то же слово независимо появилось в двух совершенно разных областях и оказалось, что это не случайность, а глубочайшая закономерность.
В 1870-х годах Людвиг Больцман, австрийский физик, вывел формулу для термодинамической энтропии: S = k·lnW. Здесь W — число способов, которым можно реализовать данное состояние системы. Чем больше способов — тем выше энтропия, тем больше хаос.
В 1948 году Клод Шеннон, американский инженер и математик, работавший в Bell Labs, опубликовал статью «Математическая теория связи». Он решал практическую задачу: как передавать сообщения по телефонным линиям без потерь, как бороться с помехами, как кодировать информацию. И он ввел понятие информационной энтропии:
H = -∑ p_i · log₂ p_i
Что это значит? Если у нас есть множество возможных сообщений с разными вероятностями, то энтропия Шеннона измеряет нашу неопределенность. Чем больше вариантов и чем они равновероятнее, тем выше энтропия, тем больше информации мы получим, когда узнаем, какое сообщение на самом деле передано.
Шеннон назвал свою меру «энтропией» не случайно. Он советовался с великим математиком Джоном фон Нейманом, который сказал ему: «Называйте это энтропией. Во-первых, это та же формула, что в термодинамике. Во-вторых, никто до конца не понимает, что такое энтропия, поэтому в спорах вы всегда будете иметь преимущество».
Шутка фон Неймана оказалась пророческой. Формулы действительно оказались идентичны (с точностью до постоянного множителя). И это совпадение привело к революции в понимании реальности.
2. Что измеряет энтропия Шеннона?
Давайте разберемся на простых примерах.
Представьте, что я загадал число от 1 до 8. Вы должны его угадать, задавая вопросы, на которые можно ответить «да» или «нет». Сколько вопросов вам потребуется в худшем случае? Три. Потому что каждый вопрос делит пространство поиска пополам, а 2³ = 8.
Три бита информации — это и есть энтропия этого моего сообщения. До того как я его раскрыл, неопределенность составляла 3 бита. После того как я ответил на все вопросы, неопределенность стала нулевой. Информация, которую вы получили, равна первоначальной энтропии.
Теперь усложним. Представьте, что я загадываю число от 1 до 8, но я очень люблю число 1 и загадываю его в половине случаев, а остальные числа — поровну в оставшейся половине. Тогда энтропия будет меньше. Потому что неопределенность ниже: скорее всего, это будет 1.
Формула Шеннона учитывает вероятности. Если событие почти наверняка, информации в его наступлении мало. Если событие крайне маловероятно, но происходит — это очень информативно.
Энтропия Шеннона — это мера неожиданности, мера свободы выбора, мера нашего незнания.
3. Как связаны две энтропии?
Вернемся к формуле Больцмана:
S = k·lnW.
W — это число микросостояний, соответствующих данному макросостоянию. Например, если у вас газ в сосуде, то макросостояние (температура, давление) может быть реализовано огромным числом способов распределения молекул по скоростям и положениям.
Логарифм этого числа — и есть энтропия Больцмана.
Теперь посмотрим на формулу Шеннона. Если все микросостояния равновероятны (а в термодинамике это обычно так), то p_i = 1/W для каждого из W состояний. Подставляем в формулу Шеннона:
H = -∑ (1/W) · log₂(1/W) = -W · (1/W) · log₂(1/W) = -log₂(1/W) = log₂ W
То есть информационная энтропия Шеннона (в битах) и термодинамическая энтропия Больцмана (в физических единицах) — это одно и то же, только в разных масштабах. Коэффициент пересчета — постоянная Больцмана k, но в других единицах.
Л.А. Блюменфельд из МГУ сформулировал это блестяще: «Энтропия системы в данном макросостоянии есть количество информации, недостающее до ее полного описания» .
Иными словами:
· Пока вы не знаете, в каком именно микросостоянии находится система, у вас есть неопределенность. Это энтропия.
· Когда вы проводите измерение и получаете информацию, вы устраняете эту неопределенность. Информация уменьшает энтропию.
Информация и энтропия — это две стороны одной медали. Энтропия — это мера нашего незнания. Информация — это то, что превращает незнание в знание.
4. Демон Максвелла возвращается
Теперь мы можем окончательно понять, почему "демон Максвелла" не нарушает второй закон.
"Демон" получает информацию о молекулах. Он узнаёт, быстрая молекула или медленная. Это уменьшает его неопределенность о состоянии системы. С точки зрения "демона", энтропия системы уменьшилась — он теперь знает о ней больше.
Но чтобы получить эту информацию, "демон" должен был с ней взаимодействовать. А взаимодействие всегда связано с ростом энтропии где-то еще.
В классическом анализе Лео Силарда и Рольфа Ландауэра ключевым оказался процесс стирания памяти. Демон должен где-то хранить информацию о молекулах. Память конечна. Когда она заполняется, старую информацию нужно стирать. А стирание одного бита информации, как доказал Ландауэр, обязательно сопровождается выделением тепла и ростом энтропии окружающей среды на величину не меньше k·ln2 .
Так природа восстанавливает равновесие. Информация не бесплатна. Знание имеет цену, и эта цена — рост беспорядка где-то в другом месте.
5. Информация в жизни: От языка до музыки
Теория информации Шеннона оказалась невероятно плодотворной. Она объяснила не только физику, но и кучу других вещей.
Язык. Частота букв в любом языке неравномерна. В русском языке самая частая буква — «о», за ней «е», «а». Это позволяет сжимать тексты, убирая избыточность. Но избыточность нужна, чтобы мы могли понимать друг друга даже при помехах. Если бы все буквы встречались одинаково часто, язык был бы максимально информативен, но малейший шум делал бы его непонятным.
Музыка. Музыкальное произведение — это баланс между предсказуемостью и неожиданностью. Слишком предсказуемая музыка скучна (низкая энтропия). Слишком хаотичная — не воспринимается как музыка (слишком высокая энтропия). Гениальные композиторы интуитивно находят золотую середину.
Новости. Почему «собака укусила человека» — не новость, а «человек укусил собаку» — новость? Потому что второе событие крайне маловероятно, а значит, несет много информации. Энтропия новостного потока определяется неожиданностью событий.
6. Максвелл, Больцман, Шеннон: Триумф междисциплинарности
История с энтропией — блестящий пример того, как наука движется на стыке дисциплин.
Максвелл, физик-теоретик, придумал "демона", чтобы проверить границы второго закона.
Больцман, физик-статистик, связал энтропию с вероятностью и числом микросостояний.
Шеннон, инженер-связист, искал способ измерять информацию и независимо пришел к той же формуле.
Силард, физик-ядерщик, соединил информацию и термодинамику в мысленном эксперименте.
Ландауэр, компьютерщик из IBM, доказал, что стирание информации греет мир.
Сегодня эта цепочка привела к пониманию, что информация — это физическая сущность. Она не менее реальна, чем масса или энергия. И она подчиняется физическим законам.
В 2010-х годах физики научились экспериментально реализовывать "демона Максвелла". В 2020-х пошли разговоры о «квантовых демонах» и о том, что в квантовом мире границы возможного могут быть шире . Информационная парадигма проникает в самые основы физики.
7. Философский итог: Знание как сила
Что всё это значит для нас, живущих в мире, где информации становится всё больше, а понимания — не всегда?
Во-первых, это значит, что знание действительно сила. Не метафорически, а почти физически. Информация позволяет нам упорядочивать мир вокруг себя, уменьшать хаос, создавать структуры. Но за это приходится платить — своей энергией, своим вниманием, своей памятью.
Во-вторых, это значит, что незнание — это тоже физическое состояние. Энтропия — это не просто абстракция. Это реальная мера того, насколько мир для нас непредсказуем, насколько он хаотичен.
В-третьих, это значит, что обучение — это антиэнтропийный процесс. Каждый раз, когда вы узнаете что-то новое, вы уменьшаете энтропию своей картины мира. Вы тратите энергию (мозг потребляет глюкозу), но получаете порядок в голове, порядок в своей жизни.
"Демон Максвелла" — это метафора человека. Мы тоже всю жизнь сортируем молекулы информации, отделяя быстрые (важные) от медленных (неважных), горячие (актуальные) от холодных (устаревших). И мы тоже платим за это теплом своих нейронов.
8. Границы познания
Но есть и ограничение. Полной информации о мире у нас быть не может. Чтобы точно описать состояние системы из N частиц, нам нужно было бы измерить всё. Но каждое измерение требует энергии и увеличивает энтропию где-то еще. Это термодинамический предел познания.
Мы никогда не сможем узнать всё. Но мы можем узнавать достаточно, чтобы создавать локальные очаги порядка — в своей жизни, в своей работе, в своей душе.
И в этом, наверное, и состоит наша человеческая миссия в мире, который в целом стремится к хаосу. Быть "демонами Максвелла" — маленькими, но упрямыми существами, которые создают порядок ценой своей энергии.
---
Задумывались ли вы когда-нибудь, сколько информации вы перерабатываете за день? И сколько энергии на это тратите?