Теория меры "пришлась впору" для вероятности, но появилась она раньше. Давайте посмотрим на абстрактную меру без "вероятностных очков". Про "обычную" меру, которая в простых случаях просто площадь или объем, будет отдельный материал. Пока считаем, что "обычная" мера у нас уже есть и мы работаем только с теми множествами, для которых она определена: с измеримыми. Всё, что конструктивно определяется, измеримо, так что проблем здесь не будет. Пример неизмеримого множества очень прост. Возьмем окружность...

Я уже затрагивал расшифровку этого понятия в предыдущих постах, однако я делал это вскользь и несмотря на простоту, с непривычки оно могло показаться туманным. Давайте перейдём к страшным определениям 😄 Теория информации описывает информацию как меру неоднородности среды. Теперь разберём это определение по словам. Начнём с понятия меры. Мера — это количество чего-то. То есть информацию можно описать как количество неоднородности среды. Однако между понятием меры и понятием количества всё же есть различие...