Данные (без потерь) можно сжимать только убирая ту их часть, которая не несёт дополнительной информации. Понятие количества информации тесно связано с понятием энтропии информации. Чем больше информационная энтропия, тем меньше возможности по сжатию соответствующих данных, поскольку уменьшить объем сообщения, сделав его меньше информационной энтропии этого сообщения, невозможно без искажений. Энтропия вообще характеризует степень беспорядка в системе. Значит, информации в хаосе больше, чем в регулярных данных...