Найти в Дзене
Евгений Рудный

2.4. Энтропия, незнание и информация

Продолжение книги 'Осмысление энтропии в свете свечи'

В 19-ом веке вероятности в физике в том числе связывались с незнанием человека деталей поведения макросистемы на микроуровне; то есть, статистическое истолкование второго закона наводило на мысль о связи между энтропией и незнанием. Появление теория информации Шеннона дало новый толчок такому ходу мысли - информация связана с незнанием, поэтому информация имеет отношение к энтропии.

Создатель теории информации Клод Шеннон в 1956 году написал короткую заметку 'Повальное увлечение (Bandwagon)', в которой призывал к осторожности в применении теории информации в областях, для которых она не предназначалось:

'За последние несколько лет теория информации превратилась в своего рода бандвагон [повальное увлечение] от науки. Появившись на свет в качестве специального метода в теории связи, она заняла выдающееся место как в популярной, так и в научной литературе. Это можно объяснить отчасти ее связью с такими модными областями науки и техники, как кибернетика, теория автоматов, теория вычислительных машин, а отчасти новизной ее тематики. В результате всего этого значение теории информации было, возможно, преувеличено и раздуто до пределов, превышающих ее реальные достижения. Ученые различных специальностей, привлеченные поднятым шумом и перспективами новых направлений исследования, используют идеи теории информации при решении своих частных задач. Так, теория информации нашла применение в биологии, психологии, лингвистике, теоретической физике, экономике, теории организации производства и во многих других областях науки и техники. Короче говоря, сейчас теория информации, как модный опьяняющий напиток, кружит голову всем вокруг.'

Однако информационный бандвагон в статистической механике было уже не остановить и в этой главе будет представлен дух времени 1950-х годов, когда в силу разных причин энтропия в статистической механике оказалась связанной с информацией. Так, в настоящее время в статьях по статистической механике энтропия Гиббса нередко называется энтропией Шеннона. Эта часть изложения взята из диссертации Хавьера Анта 'Исторические и концептуальные основания информационной физики'.

В следующем разделе будет рассмотрен принцип максимума информационной энтропии Эдвина Джейнса и его использование в статистической механике. Джейнс использовал энтропию Шеннона в статистической механике на основе представлений о субъективности вероятности. Другая линия становления информационной энтропии, демон Максвелла на основе мысленного эксперимента Сциларда, будет представлена в следующей главе. Заключительный раздел этой главы содержит взгляды Рудольфа Карнапа, который в 1950-х годах выступал за объективность энтропии в статистической механике. Однако ему не удалось убедить физиков и в результате Карнап отказался от публикации своей работы 'Два эссе об энтропии'; она вышла только посмертно в 1977 году.

Далее: https://blog.rudnyi.ru/ru/2025/05/book-entropy-chapter24.html