Современная электронная связь не была бы возможна без работ Клода Шеннона — дальнего родственника Томаса Эдисона. Инженер и математик Клод Шеннон признается отцом теории информации, математической модели, определяющей, каким образом информация может передаваться от отправителя к получателю. Однако изначально Шеннон интересовался главным образом тем, как избавиться от «шумов», которые в его время наполняли собой телефонную связь.
Шеннон 31 год проработал в лабораториях Белла, и хотя имя его достойно упоминания за многие достижения, однако именно статья «Математическая теория связи», вышедшая в 1948 году, дала возможность его последователям выйти за рамки науки 20-го века.
Теория информации ведет свое происхождение именно это этой книги. Она позволяет представлять содержащуюся в сообщении информацию «в количественной форме», чаще всего — в битах данных, отображающих одно из двух состояний: включено или выключено. Она также предписывает, как кодировать и передавать информацию в условиях наличия «шумов», которые могут извратить сообщение на пути его передачи.
В основе теории Шеннона лежит концепция неопределенности. Учитывая, что представляет собой «сигнал», чем больше присутствует неопределенности, тем больше требуется бит данных, чтобы обеспечить передачу необходимой информации. Шеннон называл этот опирающийся на неопределенность информационный критерий «энтропией»: он математически доказал возможность кодировки сигнала — сводя его к самой элементарной его форме и исключая помехи и шумы, чтобы добиться передачи четкого сообщения — и только его. И хотя при передаче всегда остается вероятность ошибки, теория информации в значительной степени снижает эту вероятность.
Теория кодирования — важное ответвление теории информации, изучает свойства кодов для решения задачи получения четких, надежных данных, исключая всякую избыточность, а также ошибки при передаче данных. Здесь есть два основных аспекта. Во-первых, исходное кодирование стремится сжать исходящие данные таким образом, чтобы их передача проходила более эффективно (если вы когда-либо «сжимали» файл перед тем, как послать его кому-нибудь, вы наблюдали исходное кодирование в действии). Во-вторых, кодирование каналов добавляет дополнительные биты информации, чтобы при пересылке можно было защитить данные от помех, присутствующих в передающих каналах.