Формула Шеннона показывает сколько бит информации содержит сообщение из одного события (символа). N- общее число событий (символов) pi -вероятность исполнения i-го события(символа) Чем больше количество событий (символов) в спектре событий(азбуке). тем больше информативность каждого события. Так информативность одной цифры 3,322 примерно с учетом равной вероятности их встречи. Для русской азбуки с 33 буквами примерно 5 бит Для азбуки буквицы с 49 буквами примерно 5,6 бит Для английского алфавита примерно 4,7 бит. Если учесть, что события (буквы. символы) встречаются с разной вероятностью, то общая информативность на символ падает, но растёт в случае выпадения редкого события(символы). Так например буква Ф встречается реже остальных букв в наших текстах и речи, значит вероятность её попадания самая низкая, но информативность самамя високая среди прочих. Для английского алфавита такая буква Z, хотя Q,J так же встречаются редко.