Мы измеряем массу в граммах, расстояние в метрах, силу тока в амперах, а информацию в битах. Но измерять количество информации достаточно сложно из-за её абстрактности. По этой причине было придумано несколько подходов, среди которых определение количества информации по Хартли является наиболее простым и понятным. О различии информации и данных мы говорили ранее (тут). Подчеркну, что сейчас мы говорим об информации - нам не важно, какими именно способами она будет представлена в памяти компьютера...

Данные (без потерь) можно сжимать только убирая ту их часть, которая не несёт дополнительной информации. Понятие количества информации тесно связано с понятием энтропии информации. Чем больше информационная энтропия, тем меньше возможности по сжатию соответствующих данных, поскольку уменьшить объем сообщения, сделав его меньше информационной энтропии этого сообщения, невозможно без искажений. Энтропия вообще характеризует степень беспорядка в системе. Значит, информации в хаосе больше, чем в регулярных данных...