Одна и та же информация может быть представлена посредством различных дискретных сообщений и, следовательно, различных алфавитов. B связи с такой возможностью возникает проблема перехода от одного алфавита к другому, причем подобное преобразование не должно приводить к потере информации.
Будем считать, что источник представляет информацию в форме дискретного сообщения, используя для этого алфавит, который в дальнейшем условимся называть первичным. Далее это сообщение попадает в устройство, преобразующее и представляющее его в другом алфавите, — этот алфавит назовем вторичным.
Код — (1) правило, описывающее соответствие знаков или их сочетаний первичного алфавита знакам или их сочетаниям вторичного алфавита; (2) совокупности знаков вторичного алфавита, используемые для представления знаков или их сочетаний первичного алфавита.
Кодирование — перевод информации, представленной посредством первичного алфавита, в последовательность кодов.
Декодирование — операция, обратная кодированию, т. е. восстановление информации в первичном алфавите по имеющейся последовательности кодов.
Операции кодирования и декодирования называются обратимыми, если их последовательное применение обеспечивает возврат к исходной информации без каких-либо ее потерь.
Кодер — устройство, обеспечивающее выполнение операции кодирования.
Декодер — устройство, производящее декодирование.
Пример обратимого кодирования:
Пример кодирования необратимого кодирования:
Для практических задач возможность восстановления информации по ее коду является необходимым условием применимости кода, поэтому в дальнейшем изложении ограничим себя рассмотрением только обратимого кодирования.
Рассмотрим схему передачи информации от источника к приемнику
Без технической детализации можно выделить следующие модули:
ИИ — источник информации;
ПК — первичный кодер;
ВК — вторичный кодер;
ПрдС — передатчик сообщения в канал связи;
ПрмС — приемник сообщения из канала связи;
ДК — декодер сообщения;
ПИ — приемник информации.
Взаимодействуют модули следующим образом. От источника информация, представленная в первичном алфавите, поступает в первичный кодер — на его выходе получается последовательность кодов; эта последовательность поступает во вторичный кодер, действие которого состоит в построении помехоустойчивых кодов, которые передатчиком направляются в канал связи, подверженный воздействию шумов (помех), которые могут исказить передаваемые коды. После приема сообщения из канала связи она направляется в декодер, который выполняет две функции: проверку правильности передачи и перевод помехоустойчивых кодов в обычные. Для получения информации в первичном алфавите (алфавите источника) приемник информации должен осуществить декодирование.
Таким образом, задача кодирования решается дважды — сначала строится первичный код, затем на его основе помехоустойчивый. B данном разделе, как было сказано, обсуждаются вопросы первичного кодирования.