Понятие энтропии впервые было введено Клаузиусом в термодинамике в 1865 году для определения меры необратимого рассеивания энергии, меры отклонения реального процесса от идеального. Таким образом, энтропи́я (от др.-греч. ἐν «в» + τροπή «обращение; превращение») изначально обозначала меру необратимого рассеивания энергии или бесполезности энергии (потому что не всю энергию системы можно использовать для превращения в какую-нибудь полезную работу). Постепенно этот термин из очень специализированного раздела физики перешел во многие другие области знания...

📊 Энтропия — не одна, а целое семейство Когда говорят "энтропия", чаще всего имеют в виду формулу Шеннона: та самая сумма (рис. 1) , измеряющая, сколько информации содержится в случайной величине. Но у этой идеи есть обобщение — энтропия Реньи (рис.2) , которая включает в себя не только формулу Шеннона, но и другие меры — как частные случаи. Смысл энтропии Реньи — в том, чтобы добавить гибкость. Мы вводим параметр 𝛼, который меняет акцент: что именно считать «неопределённостью» в системе. При 𝛼=1 мы получаем классическую энтропию Шеннона...