Теория кодирования Шеннона. Количество информации. Энтропия
1. Измерение информации. Алфавитный подход
С позиции содержательного подхода к измерению информации решается вопрос о количестве информации в сообщении, получаемом человеком. Рассматривается следующая ситуация: 1) человек получает сообщение о некотором событии; при этом заранее известна неопределенность знания человека об ожидаемом событии. Неопределенность знания может быть выражена либо числом возможных вариантов события, либо вероятностью ожидаемых вариантов события; 2) в результате получения сообщения неопределенность знания снимается:...
Подходы к измерению информации
Информация и её свойства являются объектом исследования целого ряда научных дисциплин, таких как: • теория информации (математическая теория систем передачи информации); • кибернетика (наука об общих закономерностях процессов управления и передачи информации в машинах, живых ор- ганизмах и обществе); • информатика (изучение процессов сбора, преобразования, хра- нения, защиты, поиска и передачи всех видов информации и средств их автоматизированной обработки); • семиотика (наука о знаках и...