57,5 тыс подписчиков
Формула Шеннона показывает сколько бит информации содержит сообщение из одного события (символа).
N- общее число событий (символов)
pi -вероятность исполнения i-го события(символа)
Чем больше количество событий (символов) в спектре событий(азбуке). тем больше информативность каждого события.
Так информативность одной цифры 3,322 примерно с учетом равной вероятности их встречи.
Для русской азбуки с 33 буквами примерно 5 бит
Для азбуки буквицы с 49 буквами примерно 5,6 бит
Для английского алфавита примерно 4,7 бит.
Если учесть, что события (буквы. символы) встречаются с разной вероятностью, то общая информативность на символ падает, но растёт в случае выпадения редкого события(символы).
Так например буква Ф встречается реже остальных букв в наших текстах и речи, значит вероятность её попадания самая низкая, но информативность самамя високая среди прочих.
Для английского алфавита такая буква Z, хотя Q,J так же встречаются редко.
Около минуты
30 сентября 2022
1236 читали