После введения в прошлой статье ряд понятий можно переходить к одному из центральных понятий научного метода – к информации. Как и большинство понятий научного метода – термин «информация» имеет размытое, неопределенное содержание. Что же понимается под «информацией» в научном методе?
Количество информация
В научном методе – рассматривают не столько саму информацию, сколько ее количество. Количество же информации – это то, насколько неожиданен наблюдаемый факт для конкретного наблюдателя. Здесь есть важный нюанс – количество информация является относительной величиной.
Количество информация – это мера неожиданности факта для наблюдателя
Допустим два человека узнают о результатах футбольного матча. Одним из наблюдателей является футбольный фанат – и победа слабой команды для него является большой неожиданностью. Значит он получит много информации.
Второй наблюдатель не интересуется футболом и ничего не знает о командах. Для него ожидания выигрыша каждой из команд равны – и он получит информации меньше, чем футбольный фанат.
Из примера видно, что количество информации не является исключительно свойством факта. Вместо этого, количество информации определяется парой из наблюдателя, а точнее его ожидания, и факта. Можно ли определить количество информации математически? Конечно:
Почему используется именно двоичный логарифм и можно ли использовать логарифм с другим основанием? Двоичный логарифм используется в силу своего удобства и сложившейся практики – он дает традиционные биты.
Но можно использовать логарифм по любому основанию больше единицы. Просто единицы измерения будут другими – которые пересчитываются в биты умножением на определенный коэффициент. Ситуация аналогичная с метрами и футами.
Мат. ожидание информации
Я привел формулу расчета количества информации для уже произошедшего факта. Но у информации есть еще одна важная величина – ее математическое ожидание – то есть среднее кол-во информации, которое ожидает наблюдатель.
В этой статье буду рассматривать наблюдения с конечным количество исходов. Такие как бросание монетки, бросок кубика или результаты спортивных матчей. Конечно, есть наблюдения, которые дают бесконечные кол-во исходов – например скорость движения автомобиля может принимать любое кол-во значений от нулевой скорости до его максимальной – но об этом в следующих статьях цикла
К счастью, метод расчета для мат. ожидания интуитивно понятен – необходимо рассчитать кол-во информации для каждого варианта (в предположении что именно он произошел), умножить на вероятность выпадения варианта и полученные величины – сложить. Ниже приведено три примера.
Бросок монеты.
Предположим, что у нас есть честная монета – то есть вероятности выпадения обеих сторон равны и составляют 0.5. Тогда математическое ожидание количества информации:
Здесь и далее я использую представление вероятности не в виде процентов, а в виде долей единицы. Зная, что оба исхода равновероятны – а значит и кол-во информации для каждого одинаково - я записал формулу с использованием умножения.
Бросок кубика
Теперь рассмотрим бросок честного шестигранного кубика. Вероятность выпадения каждой грани равна 1/6. Опять рассчитываем среднее кол-во ожидаемой информации:
Я получил дробное количество бит – нормально ли это? Да, это абсолютно нормально, так же как получить при измерении половину метра или треть килограмма. Ведь в данном случае речь идет не о кол-ве физических ячеек памяти в компьютерном устройстве - а о количестве информации.
Бросок шулерского кубика
Допустим наблюдатель считает, что бросается не честный кубик, а шулерский – одна из его граней выпадает в три раза чаше чем любая из оставшихся пяти. То есть пять граней выпадают с вероятностью 1/8, а одна грань – с вероятностью 3/8. Каково будет мат. ожидание количества информации?
Как видите – нет необходимости в симметричности возможных результатов. Более того – кол-во ожидаемой информации так же зависит от ожидания наблюдателя. Если наблюдатель ожидает честный кубик – то среднее ожидаемое количество информации будет одно, если не честный кубик – то другое.
Несколько наблюдений.
Если наблюдатель ожидает результаты нескольких наблюдений – что можно сказать о мат. ожидании общего количества информации? Казалось бы, ответ очевиден – сумма мат. ожиданий отдельных наблюдений. Но этот ответ верен лишь частично – и только тогда, когда наблюдаемые феномены никак не зависят друг от друга. И тут мы переходим к центральному утверждению научного метода, которое гласит:
Мат. ожидание кол-ва информации группы наблюдений не больше сумма мат. ожиданий кол-ва информации отдельных наблюдений
Не больше – означает «равно» или «меньше». Вариант с «равно» для науки не представляет никакого интереса. А вот вариант «меньше» позволяет строить рациональные предсказаний. Фактические – любое знание научное знание в любой наблюдаемой области может быть изложено в этом виде. Как это реализуется?
Предсказания
Давайте рассмотрим модельную ситуацию: Василий подбрасывает честную монетку. Если выпадает решка – в мишень стреляет Игорь (он попадает в 3 случаях из 4). Если же выпадает орел – стреляет Петр (он попадает только в 1 случае из 4).
Сначала рассмотрим два наблюдения по отдельности – подбрасывания монетки и попадания по мишени. Наблюдатель не только не знает, что два стрелка имеют разную меткость – он даже не знает об их существовании. Наблюдатель лишь видит попадания по мишени или промахи.
Для первого наблюдения (с подбрасыванием монетки) кол-во ожидаемой информации составит ровно 1 бит (почему – описано в начале статьи). Для наблюдения с мишенями – аналогично – так как в среднем стрелки делают одинаковое кол-во выстрелов – в результате чего средняя меткость – 2 выстрела из 4. Итого: если брать наблюдения по отдельности – мат. ожидание кол-ва информации – 2 бита.
Теперь рассмотри два наблюдения вместе. Мы получим четыре варианта:
- Выпала решка и попали в мишень – 0.5 * ¾ = 0.375
- Выпала решка и не попали в мишень – 0.5 * ¼ = 0.125
- Выпал орел и попали в мишень – 0.5 * ¼ = 0.125
- Выпал орел и не попали в мишень – 0.5 * ¾ = 0.375
Подставляем в формулу:
Проведя вычисления, можно увидеть, что вместо 2 бит мы получили 1.812 бит. Куда же делись 0.188 бита? Это знание, полученное наблюдателем, в результате бесконечной серии наблюдений. Как видите - здесь нет использования каких-то уникальных черт какой-то одной из наук. Этот метод получения знания универсален.
Различные науки отличаются не тем, что имеют разный фундамент – а областью исследований. Конечно, ученные различных научных областей имеют разные приемы изучения мира – но это не разный фундамент, а просто способ облегчить исследования, повысить их достоверность, сделать результаты удобнее для применения.
Если говорить упрощено – то одна наука отличается от другой исключительно областью интереса и набором используемых лайфхаков.
В качестве заключения
Те, кто читал пример с подбрасыванием монетки и стрельбой по мишеням – мог заметить, что наблюдателю требуется провести бесконечное кол-во наблюдений. Очевидно, что указанное кол-во наблюдений на практике провести невозможно. Наша Вселенная слишком молода для «бесконечной серии наблюдений», а проводить наблюдения с бесконечной частой – не позволяет квантовая физика. Как же быть? Ответы в следующей статье цикла – Эволюция наблюдателя.