Мы с вами уже разобрались с кодированием информации. Научились находить двоичный код для некоторой последовательности состоящей из букв. А сегодня будем разбираться с измерением количества информации. А для того, чтобы не пропустить важную информацию - подпишитесь на мой канал!
Двоичный код - это код в котором используется только два знака "0" и "1".
1 бит - это количество информации необходимое для передачи одного знака в коде.
- 0 - 1 бит;
- 010 - 3 бита;
- 11111 - 5 битов;
Задание:
По каналу связи передаются сообщения, содержащие только восемь букв: А, В, Е, И, К, Л, Н, Т. Для передачи используют двоичный код, удовлетворяющий условию Фано. Кодовые слова для некоторых букв известны: И - 00, К - 010, Т - 101.
Какое наименьшее количество двоичных знаков потребуется для кодирования слова АНАЛИТИКА.
Для того чтобы найти кодовые слова для неизвестных букв, нам нужно построить бинарное дерево. Для начала строим дерево до тех букв, кодовые слова которых нам известны.
По условию задачи, нам нужно найти такие кодовые слова при которых потребуется наименьшее количество наименьших знаков. Длина четырех букв из нашего слова известна.
Нам необходимо найти кодовые слова для оставшихся 5 букв алфавита. Нужно понимать, что длина кода для буквы должна зависеть от того, сколько раз встречается буква в слове. Поэтому мыс вами найдем наименьшее возможное кодовое слово для буквы А. И это 11 - 2 бита.
А остальные буквы, каждая будут по 4 бита. Остается только посчитать.
Единицы измерения количества информации:
- 1 байт - 8 бит
- 1 килобайт(Кб) - 1024 байта
- 1 мегабайт(Мб) - 1024 Кб
- 1 гигабайт(Гб) - 1024Мб
Перевод в другие единицы измерения:
- 3 Кб = 3*1024 байт = 3072 байт
- 13 байт = 13*8 бит = 104 бит
- 3072 Кб = 3072 : 1024 Мб = 3 Мб
Формула Хартли
Формула Хартли показывает связь между количеством информации и количеством возможных вариантов.
Алфавитный подход
Задание:
Определите объем информации в сообщении ИНФОРМАТИКАСАМ. Для кодирования используются только заглавные буквы русского алфавита.
Для начала посчитаем все символы в сообщении ИНФОРМАТИКАСАМ - 14 символов
Мощность алфавита - 32 символа(количество букв в русском алфавите).
Число 32, можно представить как 2 в пятой степени.
Отсюда посчитаем объем информации:
14 * 5 = 70 бит
Ответ: 70 бит
