С позиции содержательного подхода к измерению информации решается вопрос о количестве информации в сообщении, получаемом человеком. Рассматривается следующая ситуация:
1) человек получает сообщение о некотором событии; при этом заранее известна неопределенность знания человека об ожидаемом событии. Неопределенность знания может быть выражена либо числом возможных вариантов события, либо вероятностью ожидаемых вариантов события;
2) в результате получения сообщения неопределенность знания снимается: из некоторого возможного количества вариантов оказался выбранным один;
3) по формуле вычисляется количество информации в полученном сообщении, выраженное в битах.
Формула, используемая для вычисления количества информации, зависит от ситуаций, которых может быть две:
1. Все возможные варианты события равновероятны. Их число конечно и равно N.
2. Вероятности (p) возможных вариантов события разные и они заранее известны:
{pi}, i = 1..N. Здесь по-прежнему N — число возможных вариантов события.
Равновероятные события. Если обозначить буквой i количество информации в сообщении о том, что произошло одно из N равновероятных событий, то величины i и N связаны между собой формулой Хартли:
2i = N (1)
Величина i измеряется в битах. Отсюда следует вывод:
1 бит — это количество информации в сообщении об одном из двух равновероятных событий.
Формула Хартли — это показательное уравнение. Если i — неизвестная величина, то решением уравнения (1) будет:
i = log2N (2)
Формулы (1) и (2) тождественны друг другу. Иногда в литературе формулой Хартли называют (2).
Пример 1. Сколько информации содержит сообщение о том, что из колоды карт достали даму пик?
В колоде 32 карты. В перемешанной колоде выпадение любой карты — равновероятные события. Если i — количество информации в сообщении о том, что выпала конкретная карта (например, дама пик), то из уравнения Хартли:
2i = 32 = 25
Отсюда: i = 5 бит.
Пример 2. Сколько информации содержит сообщение о выпадении грани с числом 3 на шестигранном игральном кубике?
Считая выпадение любой грани событием равновероятным, запишем формулу Хартли: 2i = 6. Отсюда: i = log26 = 2,58496 бит.
Неравновероятные события (вероятностный подход)
Если вероятность некоторого события равна p, а i (бит) — это количество информации в сообщении о том, что произошло это событие, то данные величины связаны между собой формулой:
2i = 1/p (3)
Решая показательное уравнение (3) относительно i, получаем:
i = log2(1/p) (4)
Формула (4) была предложена К.Шенноном, поэтому ее называют формулой Шеннона.
Методические рекомендации
Обсуждение связи между количеством информации в сообщении и его содержанием может происходить на разных уровнях глубины.
Качественный подход
Качественный подход, который может использоваться на уровне пропедевтики базового курса информатики (5–7-е классы) или в базовом курсе (8–9-е классы).
На данном уровне изучения обсуждается следующая цепочка понятий: информация — сообщение — информативность сообщения.
Исходная посылка: информация — это знания людей, получаемые ими из различных сообщений. Следующий вопрос: что такое сообщение? Сообщение — это информационный поток (поток данных), который в процессе передачи информации поступает к принимающему его субъекту. Сообщение — это и речь, которую мы слушаем (радиосообщение, объяснение учителя), и воспринимаемые нами зрительные образы (фильм по телевизору, сигнал светофора), и текст книги, которую мы читаем, и т.д.
Вопрос об информативности сообщения следует обсуждать на примерах, предлагаемых учителем и учениками. Правило: информативным назовем сообщение, которое пополняет знания человека, т.е. несет для него информацию. Для разных людей одно и то же сообщение с точки зрения его информативности может быть разным. Если сведения “старые”, т.е. человек это уже знает, или содержание сообщения непонятно человеку, то для него это сообщение неинформативно. Информативно то сообщение, которое содержит новые и понятные сведения.
Примеры неинформативных сообщений для ученика 8-го класса:
1)“Столица Франции — Париж” (не новое);
2) “Коллоидная химия изучает дисперсионные состояния систем, обладающих высокой степенью раздробленности” (не понятное).
Пример информативного сообщения (для тех, кто этого не знал): “Эйфелева башня имеет высоту 300 метров и вес 9000 тонн”.
Введение понятия “информативность сообщения” является первым подходом к изучению вопроса об измерении информации в рамках содержательной концепции. Если сообщение неинформативно для человека, то количество информации в нем, с точки зрения этого человека, равно нулю. Количество информации в информативном сообщении больше нуля.
Количественный подход в приближении равновероятности
Данный подход может изучаться либо в углубленном варианте базового курса в основной школе, либо при изучении информатики в 10–11-х классах на базовом уровне.
Рассматривается следующая цепочка понятий: равновероятные события — неопределенность знаний — бит как единица измерения информации — формула Хартли — решение показательного уравнения для N равного целым степеням двойки.
Раскрывая понятие равновероятности, следует отталкиваться от интуитивного представления детей, подкрепив его примерами. События равновероятны, если ни одно из них не имеет преимущества перед другими.
Введя частное определение бита, которое было дано выше, затем его следует обобщить:
Сообщение, уменьшающее неопределенность знаний в 2 раза, несет 1 бит информации.
Это определение подкрепляется примерами сообщений об одном событии из четырех (2 бита), из восьми (3 бита) и т.д.
На данном уровне можно не обсуждать варианты значений N, не равные целым степеням двойки, чтобы не сталкиваться с проблемой вычисления логарифмов, которые в курсе математики пока не изучались. Если же у детей будут возникать вопросы, например: “Сколько информации несет сообщение о результате бросания шестигранного кубика”, — то объяснение можно построить следующим образом. Из уравнения Хартли: 2i = 6. Поскольку 22 < 6 < 23, следовательно, 2 < i < 3. Затем сообщить более точное значение (с точностью до пяти знаков после запятой), что i = 2,58496 бит. Отметить, что при данном подходе количество информации может быть выражено дробной величиной.
Вероятностный подход к измерению информации
Он может изучаться в 10–11-х классах в рамках общеобразовательного курса профильного уровня или в элективном курсе, посвященном математическим основам информатики. Здесь должно быть введено математически корректное определение вероятности. Кроме того, ученики должны знать функцию логарифма и ее свойства, уметь решать показательные уравнения.
Вводя понятие вероятности, следует сообщить, что вероятность некоторого события — это величина, которая может принимать значения от нуля до единицы. Вероятность невозможного события равна нулю (например: “завтра Солнце не взойдет над горизонтом”), вероятность достоверного события равна единице (например: “Завтра солнце взойдет над горизонтом”).
Следующее положение: вероятность некоторого события определяется путем многократных наблюдений (измерений, испытаний). Такие измерения называют статистическими. И чем большее количество измерений выполнено, тем точнее определяется вероятность события.
Математическое определение вероятности звучит так: вероятность равна отношению числа исходов, благоприятствующих данному событию, к общему числу равновозможных исходов.
Пример 3. На автобусной остановке останавливаются два маршрута автобусов: № 5 и № 7. Ученику дано задание: определить, сколько информации содержит сообщение о том, что к остановке подошел автобус № 5, и сколько информации в сообщении о том, что подошел автобус № 7.
Ученик провел исследование. В течение всего рабочего дня он подсчитал, что к остановке автобусы подходили 100 раз. Из них — 25 раз подходил автобус № 5 и 75 раз подходил автобус № 7. Сделав предположение, что с такой же частотой автобусы ходят и в другие дни, ученик вычислил вероятность появления на остановке автобуса № 5: p5 = 25/100 = 1/4, и вероятность появления автобуса № 7: p7 = 75/100 = 3/4.
Отсюда, количество информации в сообщении об автобусе № 5 равно: i5 = log24 = 2 бита. Количество информации в сообщении об автобусе № 7 равно:
i7 = log2(4/3) = log24 – log23 = 2 – 1,58496 = 0,41504 бита.
Обратите внимание на следующий качественный вывод: чем вероятность события меньше, тем больше количество информации в сообщении о нем. Количество информации о достоверном событии равно нулю. Например, сообщение “Завтра наступит утро” является достоверным и его вероятность равна единице. Из формулы (3) следует: 2i = 1/1 = 1. Отсюда, i = 0 бит.
Формула Хартли (1) является частным случаем формулы (3). Если имеется N равновероятных событий (результат бросания монеты, игрального кубика и т.п.), то вероятность каждого возможного варианта равна p = 1/N. Подставив в (3), снова получим формулу Хартли: 2i = N. Если бы в примере 3 автобусы № 5 и № 7 приходили бы к остановке из 100 раз каждый по 50, то вероятность появления каждого из них была бы равна 1/2. Следовательно, количество информации в сообщении о приходе каждого автобуса равно i = log22 = 1 биту. Пришли к известному варианту информативности сообщения об одном из двух равновероятных событий.
Пример 4. Рассмотрим другой вариант задачи об автобусах. На остановке останавливаются автобусы № 5 и № 7. Сообщение о том, что к остановке подошел автобус № 5, несет 4 бита информации. Вероятность появления на остановке автобуса с № 7 в два раза меньше, чем вероятность появления автобуса № 5. Сколько бит информации несет сообщение о появлении на остановке автобуса № 7?
Запишем условие задачи в следующем виде:
i5 = 4 бита, p5 = 2 · p7
Вспомним связь между вероятностью и количеством информации: 2i = 1/p
Отсюда: p = 2–i
Подставляя в равенство из условия задачи, получим:
Отсюда:
Из полученного результата следует вывод: уменьшение вероятности события в 2 раза увеличивает информативность сообщения о нем на 1 бит. Очевидно и обратное правило: увеличение вероятности события в 2 раза уменьшает информативность сообщения о нем на 1 бит. Зная эти правила, предыдущую задачу можно было решить “в уме”.