Введение
Инфокоммуникации — это новая отрасль экономики, которая развивается как единое целое информационных и телекоммуникационных технологий. В инфокоммуникациях технологии связи используются как средство передачи информации различной природы на произвольные расстояния.
В прошлом телекоммуникационные и информационные технологии развивались отдельно и, по сути, независимо друг от друга. Предоставление телекоммуникационных услуг было неразрывно связано с организациями, называемыми операторами связи, которые выстраивали свой бизнес на продаже голосового трафика. Информационные технологии в свою очередь развивались самостоятельно и были связанны с разработкой программного обеспечения.
Однако постепенное развитие цифровых технологий привело к тому, что для того чтобы оперативно обмениваться информацией компьютеры стали объединяться в небольшие локальные сети. В них стали появляться специализированные мощные компьютеры - серверы, ресурсы которых стали доступны другим пользователям сети. То есть компьютеры сети стали сегментироваться, расширялся круг решаемых задач. Это в свою очередь способствовало развитию сетевых технологий, поскольку возрастала потребность в надежных высокоскоростных системах передачи.
Со временем возникла необходимость в объединении разрозненных сетей, находящихся на большом расстоянии друг от друга. Так стал зарождаться Интернет, который, по сути, является сетью между сетями (перевод: inter - между или среди, net - сеть). То есть Интернет объединяет локальные сети в одну глобальную сеть.
Основы инфокоммуникаций
Подходы к измерению информации
В информатике используются различные подходы к измерению информации:
1. Содержательный подход к измерению информации.
Клод Шеннон, разрабатывая теорию связи, предложил характеризовать информативность сообщения содержащейся в нём полезной информацией, т. е. той частью сообщения, которая снимает полностью или уменьшает существующую до её получения неопределённость какой-либо ситуации.
Информация — это снятая неопределённость. Величина неопределённости некоторого события — это количество возможных результатов (исходов) данного события.
Сообщение, уменьшающее неопределённость знания в 2 раза, несёт 1 бит информации.
Такой подход к измерению информации называют содержательным.
Пример 1. Допустим, вы подбрасываете монету, загадывая, что выпадет: «орёл» или «решка». Перед подбрасыванием монеты неопределённость знания о результате равна двум. Действительно, есть всего два возможных результата этого события (бросания монеты). Эти результаты мы считаем равновероятными, т. к. ни один из них не имеет преимущества перед другим.
После того как конкретный исход стал известен (например, подброшенная монета упала «орлом» вверх), неопределённость уменьшилась в 2 раза. Таким образом, сообщение о том, что подброшенная монета упала «орлом» вверх, несёт в себе 1 бит информации.
2. Алфавитный (технический) подход к измерению информации
Определение количества информации на основе уменьшения неопределённости наших знаний рассматривает информацию с точки зрения её содержания, понятности и новизны для человека.
С этой точки зрения в примере о подбрасывании монеты одинаковое количество информации содержит и зрительный образ упавшей монеты, и короткое сообщение «Орёл», и длинная фраза «В результате подбрасывания монета упала так, что на её видимой части изображён орёл».
Однако при хранении и передаче информации с помощью технических устройств целесообразно отвлечься от её содержания и рассматривать информацию как последовательность символов (букв, цифр, кодов цвета точек изображения и т. д.) некоторого алфавита.
Информация — последовательность символов (букв, цифр, кодов цвета точек изображения и т. д.) некоторого алфавита.
Минимальная мощность алфавита (количество входящих в него символов), пригодного для кодирования информации, равна 2. Такой алфавит называется двоичным. Один символ двоичного алфавита несёт 1 бит информации.
Согласно Колмогорову, количество информации, содержащейся в последовательности символов, определяется минимально возможным количеством двоичных знаков, необходимых для кодирования этой последовательности, безотносительно к содержанию представленного ею сообщения. Данный подход к определению количества информации называют алфавитным.
Информационным объёмом сообщения называется количество двоичных символов, которое используется для кодирования этого сообщения. В двоичном коде один двоичный разряд несёт 1 бит информации.
В отличие от определения количества информации по Колмогорову в определении информационного объёма не требуется, чтобы число двоичных символов было минимально возможным. При оптимальном кодировании понятия количества информации и информационного объёма совпадают.
Из курса информатики основной школы вы знаете, что двоичные коды бывают равномерные и неравномерные. Равномерные коды в кодовых комбинациях содержат одинаковое число символов, неравномерные — разное.
Первый равномерный двоичный код был изобретён французом Жаном Морисом Бодо в 1870 году. В коде Бодо используются сигналы двух видов, имеющие одинаковую длительность и абсолютную величину, но разную полярность.
Понятие «количество информации»
Количеством информации называют числовую характеристику сигнала,
отражающую ту степень неопределенности (неполноту знаний), которая исчезает после получения сообщения в виде данного сигнала. Эту меру неопределенности в теории информации называют энтропией.
Случайность любого события заключается в том, что реализация того или иного исхода имеет некоторую степень неопределенности.
Пусть до получения информации потребитель имеет некоторые предварительные (априорные) сведения о системе α. Мерой его неосведомленности о системе является некоторая функция H(α).
После получения некоторого сообщения β получатель приобрел дополнительную информацию Iβ(α), уменьшившую его априорную неосведомленность так, что апостериорная (после получения сообщения β) неопределенность состояния системы стала Hβ(α).
Тогда количество информации Iβ(α) о системе, полученной в сообщении β,
определится как Iβ(α)=H(α)-Hβ(α), т.е. количество информации измеряется уменьшением неопределенности состояния системы.
Иными словами, энтропия системы H(α) может рассматриваться как мера
недостающей информации.
Меры количества информации
В теории информации выделяются три основных направления: структурное, статистическое, семантическое.
Структурное - рассматривает дискретное строение массивов информации и их измерение простым подсчетом информационных элементов. (Простейшее кодирование массивов - комбинаторный метод.)
Статистическое направление оперирует понятием энтропии как меры неопределенности, то есть здесь учитывается вероятность появления тех или иных сообщений.
Семантическое направление учитывает целесообразность, ценность или существенность информации.
Эти три направления имеют свои определенные области применения. Структурное используется для оценки возможностей технических средств различных систем переработки информации, независимо от конкретных условий их применения. Статистические оценки применяются при рассмотрении вопросов передачи данных, определении пропускной способности каналов связи. Семантические используются при решении задач построения систем передачи информации разработки кодирующих устройств и при оценке эффективности различных устройств.
Структурные меры информации
Структурные меры учитывают только дискретное строение информации. Элементами информационного комплекса являются кванты - неделимые части информации. Различают геометрическую, комбинаторную и аддитивную меры.
Статистические меры информации
При статическом вероятностном подходе получение конкретного количества информации рассматривается как результат определенного выбора среди возможных сообщений. Получатель информации может заранее знать или угадать ее часть. Когда приходит сообщение о часто происходящих событиях, вероятность появления которых Р стремится к единице, то такое сообщение малоинформативно. Столь же малоинформативны в среднем сообщения о событиях, вероятности которых стремятся к нулю, т.е. о почти невозможных событиях, поскольку сообщения о таких событиях поступают чрезвычайно редко.
События можно рассматривать как возможные исходы некоторого опыта. Все исходы составляют полную группу событий, или ансамбль.
Семантические меры информации
Семантические меры информации оценивают смысл, содержание информации, ее целесообразность и существенность.
Целесообразность, полезность информации для решения какой-то задачи можно оценить по эффекту, который оказывает полученная информация на решение задачи. Если вероятность достижения цели увеличивается, то информацию следует считать полезной.
Мера количества информации по Р. Хартли
Формула Хартли или хартлиевское количество информации или мера Хартли — логарифмическая мера информации, которая определяет количество информации, содержащееся в сообщении.
I=K*log2N{\displaystyle I=K\log _{2}N}Шш
Где N — количество символов в используемом алфавите (мощность алфавита), K — длина сообщения (количество символов в сообщении), I — количество информации в сообщении в битах.
Формула была предложена Ральфом Хартли в 1928 году как один из научных подходов к оценке сообщений.
Для случая определения количества информации i в одном символе алфавита мощности N, формула Хартли принимает вид:
i=log2N{\displaystyle i=\log _{2}N}
Соответственно, мощность алфавита равна:
N=2i{\displaystyle N=2^{i}}NNNnnn
Из формулы Хартли следует, что алфавит, содержащий только 1 символ не может быть использован для передачи информации:
Log21=0
Пусть, имеется алфавит А, из N букв которого составляется сообщение:{\displaystyle |A|=N.}
|A|=N
Количество возможных вариантов разных сообщений:
M=Nk
где M — возможное количество различных сообщений, N — количество букв в алфавите, K — количество букв в сообщении.
Рассмотрим следующий пример. Цепь ДНК состоит из 4 видов азотистых оснований: Аденин (A), Гуанин (G), Тимин (T), Цитозин (C). Следовательно, мощность «алфавита» ДНК N равна 4. Значит, каждое азотистое основание несёт i=log24=2 {\displaystyle i=\log _{2}4=2} бита информации.
Пример: Пусть алфавит состоит из 16 символов «1», «2», «3», «4», «5», «6», «7», «8», «9», «0», «+», «-», «*», «/», «^», «#», а длина сообщения составляет 10 символов (например, команда «*123*1*3^#») — таким образом, мощность алфавита N = 16, а длина сообщения K = 10. При выбранных нами алфавите и длине сообщения можно составить {\displaystyle M=N^{K}=16^{10}=1099511627776}M=Nk=1610=1099511627776 сообщений.
По формуле Хартли можно определить, что количество информации в каждом символе одного из этих сообщений равно i=4 {\displaystyle i=\log _{2}N=\log _{2}16=4} бита, а количество информации во всем сообщении, соответственно, равно I=K*log2N=40 {\displaystyle I=K\log _{2}N=10\log _{2}16=10\cdot 4=40} бит.
При равновероятности символов p=1/m, m=1/p {\displaystyle p={\frac {1}{m}},m={\frac {1}{p}}} формула Хартли переходит в собственную информацию.
Мера количества информации по Шеннону
В середине XX века (1948 г.) была создана теория информации, с появлением которой введенная Больцманом функция пережила второе рождение. Американский инженер-связист Клод Шеннон предложил ввести меру количества информации с помощью статистической формулы энтропии.
Заметим, что понятие "информация" обычно трактуется как "сведения", а передача информации осуществляется с помощью связи. Связь между количеством информации и энтропией послужила ключом к решению ряда научных проблем.
Приведем ряд примеров. При бросании монеты выпадает орел или решка, это определенная информация о результатах бросания. При бросании кости получаем информацию о выпадении определенного количества очков (например, трех). В каком случае мы получаем больше информации?
Вероятность W выпадения герба равна 1/2, вероятность выпадения трех очков - W=1/6. Реализация менее вероятного события дает больше информации: чем больше неопределенность до получения сообщения о событии (бросание монеты, кости), тем большее количество информации поступает при получении сообщения. Информация I связана с числом равновероятных возможностей P - для монеты P=2, для кости P=6. При бросании двух костей получаем вдвое больше информации, чем при бросании одной кости: информация независимых сообщений аддитивна, а числа равновероятных возможностей перемножаются. Значит, если имеются два набора равновероятных событий P1 и P2, то полное число событий
P=P1*P2, (2) а количество информации I складывается, т. е
I(P)=I(P1*P2)=I(P1)+ I(P2). (3)
Известно, что правилам (2) и (3) подчиняются логарифмические функции, т. зависимость количества информации I от числа равновероятных событий должна иметь вид
I=A*log(P),
где постоянная А и основание логарифма могут быть выбраны по соглашению. В теории информации условились полагать А=1, а основание логарифма двум, т.е.
I=log2(P). (4)
При бросании монеты получается информация (Р=2), которую примем за единицу информации I=1:
log2(2)=1 бит
Бит - двоичная единица информации (binary digits), она оперирует двумя возможностями: да или нет, числа в двоичной системе записываются последовательностью нулей и единиц.
В общем виде формула (4) принимает вид:
Величина (5) названа Шенноном информационной энтропией.
Такой подход к количественному выражению информации далеко не универсален, т. принятые единицы не учитывают таких важных свойств информации, как ее ценность и смысл. Абстрагирование от конкретных свойств информации (смысл, ценность ее) о реальных объектах, как в дальнейшем выяснилось, позволило выявить общие закономерности информации. Предложенные Шенноном для измерения количества информации единицы (биты) пригодны для оценки любых сообщений (рождение сына, результаты спортивного матча и т. В дальнейшем делались попытки найти такие меры количества информации, которые учитывали бы ее ценность и смысл. Однако тут же терялась универсальность: для разных процессов различны критерии ценности и смысла. Кроме того, определения смысла и ценности информации субъективны, а предложенная Шенноном мера информации объективна. Например, запах несет огромное количество информации для животного, но неуловим для человека. Ухо человека не воспринимает ультразвуковые сигналы, но они несут много сведений для дельфина и т. Поэтому предложенная Шенноном мера информации пригодна для исследования всех видов информационных процессов, независимо от "вкусов" потребителя информации.
Связь мер количества информации по Р. Хартли и Шеннону
Чрезвычайно важным и принципиальным является то обстоятельство, что для построения меры Хартли используется лишь понятие многообразие, которое накладывает на элементы исходного множества ишь одно условие (ограничение): должна существовать возможность отличать эти элементы один от другого.
В теории Шеннона существенным образом используется статистика, причем предполагается, что случайные события (состояния системы) распределены по нормальному закону.
Таким образом, различие между подходами Хартли и Шеннона к построению теории информации соответствует различию между непараметрическими и параметрическими методами в статистике. Если говорить более конкретно, то, очевидно, что мера Шеннона асимптотически переходит в меру Хартли при условии, что вероятности всех событий (состояний) равны. В статистике доказано фундаментальное свойство энтропии случайного процесса, состоящее в том, что при условии нормальности распределения и достаточно больших выборках все множество событий можно разделить на две основные группы:
· высоковероятные события (считающиеся заслуживающими изучения);
· маловероятные события (считаются не заслуживающими особого внимания).
Причем высоковероятные события с высокой точностью равновероятны. При увеличении размерности выборки доля "заслуживающих внимания" событий неограниченно уменьшается, и мера Шеннона асимптотически переходит в меру Хартли. Поэтому можно считать, что при больших нормально распределенных выборках мера Хартли является оправданным упрощением меры Шеннона.
Определение количества информации в сообщении
Все мы привыкли к тому, что все вокруг можно измерить. Мы можем определить массу посылки, длину стола, скорость движения автомобиля. Но как определить количество информации, содержащееся в сообщении?
Итак, для начала выберем сообщение. Пусть это будет «Принтер — устройство вывода информации. Наша задача — определить, сколько информации содержится в данном сообщении. Иными словами — сколько памяти потребуется для его хранения.
Для решения задачи нам нужно определить, сколько информации несет один символ сообщения, а потом умножить это значение на количество символов. И если количество символов мы можем посчитать, то вес символа нужно вычислить. Для этого посчитаем количество различных символов в сообщении. Напомню, что знаки препинания, пробел — это тоже символы. Кроме того, если в сообщении встречается одна и та же строчная и прописная буква — мы считаем их как два различных символа.
В слове Принтер 6 различных символов (р встречается дважды и считается один раз), далее 7-й символ пробел и девятый — тире. Так как пробел уже был, то после тире мы его не считаем. В слове устройство 10 символов, но различных — 7, так как буквы с, т и о повторяются. Кроме того, буквы т и р уже была в слове Принтер. Так что получается, что в слове устройство 5 различных символов. Считая таким образом, далее мы получим, что в сообщении 20 различных символов.
Далее вспомним формулу, которую называют главной формулой информатики:
2i=N
Подставив в нее вместо Nколичество различных символов, мы узнаем, сколько информации несет один символ в битах. В нашем случае формула будет выглядеть так:
2i=20
Вспомним степени двойки и поймем, что iнаходится в диапазоне от 4 до 5 (так как 24=16, а 25=32). А так как бит — минимальная единица измерения информации и дробным быть не может, то мы округляем i в большую сторону до 5. Иначе, если принять, что i=4, мы смогли бы закодировать только 24=16 символов, а у нас их 20. Поэтому получаем, что i=5, то есть каждый символ в нашем сообщении несет 5 бит информации.
Осталось посчитать сколько символов в нашем сообщении. Но теперь мы будем считать все символы, не важно повторяются они или нет. Получим, что сообщение состоит из 39 символов. А так как каждый символ — это 5 бит информации, то, умножив 5 на 39 мы получим:
5 бит * 39 символов = 195 бит
Подводя итог, можно написать алгоритм нахождения объема информации в сообщении:
1. посчитать количество различных символов.
2. подставив это значение в формулу 2i=N найти вес одного символа (округлив в большую сторону)
3. посчитать общее количество символов и умножить это число на вес одного символа.
Список источников
Наилучшей наградой за наш труд будет ваша подписка - это признание нашей работы и мотивация для дальнейших достижений.