Мы измеряем массу в граммах, расстояние в метрах, силу тока в амперах, а информацию в битах. Но измерять количество информации достаточно сложно из-за её абстрактности. По этой причине было придумано несколько подходов, среди которых определение количества информации по Хартли является наиболее простым и понятным. О различии информации и данных мы говорили ранее (тут). Подчеркну, что сейчас мы говорим об информации - нам не важно, какими именно способами она будет представлена в памяти компьютера...

Информация и данные – это разные вещи. Не все данные одинаковы. Но сколько информации может содержать любой фрагмент данных? Впервые этот вопросы был раскрыт в статье 1948 года «Математическая теория коммуникации» почетного профессора MIT Клода Шеннона. Одним из прорывных результатов Шеннона является идея энтропии, которая позволяет количественно оценить количество информации, присущей любому случайному объекту, включая случайные величины, которые моделируют наблюдаемые данные. Результаты Шеннона заложили основы теории информации и современных телекоммуникаций...