Ранее мы выяснили, что алфавит любого естественного или формального языка можно заменить двоичным алфавитом. При этом мощность исходного алфавита N связана с разрядностью двоичного кода i, требуемой для кодирования всех символов исходного алфавита, соотношением: N = 2^i. Разрядность двоичного кода принято считать информационным весом символа алфавита...

В общем случае, чтобы представить информацию в дискретной форме, её следует выразить с помощью символов какого-либо естественного или формального языка. Таких языков тысячи. Каждый язык имеет свой алфавит. Алфавит - конечный набор отличных друг от друга символов (знаков), используемых для представления информации. Мощность алфавита - это количество входящих в него символов (знаков). Алфавит, содержащий два символа, называется двоичным. Представление информации с помощью двоичного алфавита называют двоичным кодированием...