Измерение информации
Как известно собаки бывают кусачими только от недостатка информации (но это неточно). Но сколько нужно информации, чтобы Динго Обломинго никого не укусил? Как возможно измерить информацию и её количество \ качество?
Существует несколько способов измерения количества информации: содержательный, алфавитный и вероятностный.
Содержательный способ определяет ценность смысловой нагрузки на определенный объем информации, этот способ субъективен, так как каждый оценивает полезность информации по своему (например, ценность этой статьи).
Алфавитный подход (равновероятные события) основан на том, что всякое сообщение можно закодировать с помощью конечной последовательности символов некоторого алфавита. Количество информации (I) , которое несет каждый символ (информационный вес одного символа) измеряется по формуле Хартли:
Количество различных символов (К) при алфавитном подходе называется алфавитом. Число символов в алфавите (N) определяет мощность алфавита. Для определения общего количества информации в сообщении, используется формула:
Для облегчения вычислений для значений N, представляющих собой степени числа 2, можно составить таблицу:
Вероятностный подход - все события происходят с различной вероятностью. Применение данного метода возможно только тогда, когда вероятность появления в сообщении каждого из символов не является одинаковой. В таком случае объем информации (I) можно определить при использовании формулы Шеннона:
Формула Хартли является частным случаем формулы Шеннона.
Единицы информации
Минимально возможной единицей информации принято считать бит (сокращенно от binary digit). Бит может принять одно из возможных значений 0 или 1. В вычислительных системах бит соответствует одному двоичному разряду, который также может быть 0 или 1. Например, двоичное число 0101 имеет 4 двоичных разряда, самый младший из которых 1, а самый старший - 0. Оперативная память компьютера состоит из множества ячеек, к каждой из которых соответствует уникальный адрес. Каждая такая адресуемая ячейка соответствует одному байту (byte). Каждый байт состоит из количества бит, определенным архитектурой компьютера. Стандартом считаются 8-битные байты.
Порции информации, состоящие из 2 байт (16 бит), называют машинным словом (WORD). Кратные машинному слову порции информации: 4 байта (32 бита) - двойное слово (DoubleWORD), 8 байт (64 бит) - четверное слово (QuadWORD). Машинное слово условно можно разделить на младший байт (LOW), и старший байт (HIGH). В свою очередь двойное слово подразделяется на младшее слово и старшее слово и т.д.
Для обозначения количества информации, большего, чем байт приняты производные величины:
Подписывайся на канал, чтобы узнавать больше интересных фактов из мира науки. Благодаря Вашим отзывам Динго сможет узнать, что нравится читателям.