📊 Энтропия — не одна, а целое семейство Когда говорят "энтропия", чаще всего имеют в виду формулу Шеннона: та самая сумма (рис. 1) , измеряющая, сколько информации содержится в случайной величине. Но у этой идеи есть обобщение — энтропия Реньи (рис.2) , которая включает в себя не только формулу Шеннона, но и другие меры — как частные случаи. Смысл энтропии Реньи — в том, чтобы добавить гибкость. Мы вводим параметр 𝛼, который меняет акцент: что именно считать «неопределённостью» в системе. При 𝛼=1 мы получаем классическую энтропию Шеннона...

Энтропия это отсутствие порядка в системе, степень рассеивания энергии. Чем больше энтропия, тем больше бесполезность выделяемой энергии. Несмотря на то, что энтропию воспринимают как научное понятие, её можно использовать в повседневной жизни. Энтропия в быту. Когда вы регулярно убираете свою квартиру и поддерживаете порядок, вы снижаете энтропию в своем жилище. Например, размещение книг по жанрам на полках — порядок и низкая энтропия. Если же книги разбросаны по всей комнате без определенной системы, это пример высокой энтропии...