Один из способов оценки информативности это формула Хартли. За основу берется оценка в битах. Если наша азбука 33 буквы, то одна буква в среднем содержит 5.044394119358453 бит информации в себе. Но это при равномерном распределении(зависит от того как часто буква используется). Если сообщение содержит K символов, то информативность сообщения будет K*5.044394119358453