Мы измеряем массу в граммах, расстояние в метрах, силу тока в амперах, а информацию в битах. Но измерять количество информации достаточно сложно из-за её абстрактности. По этой причине было придумано несколько подходов, среди которых определение количества информации по Хартли является наиболее простым и понятным. О различии информации и данных мы говорили ранее (тут). Подчеркну, что сейчас мы говорим об информации - нам не важно, какими именно способами она будет представлена в памяти компьютера...

Мы с вами уже разобрались с кодированием информации. Научились находить двоичный код для некоторой последовательности состоящей из букв. А сегодня будем разбираться с измерением количества информации...