Такое понятие как энтропия впервые появилось в термодинамике – науке занимающейся изучением тепловых динамических процессов, протекающих в самых различных материальных средах. Изначально термодинамическая энтропия использовалась как диссипативная функция, определяющая количество энергии любой формы (кинетической, электрической, химической), переходящей в ходе тех или иных процессов в тепловую энергию или тепло. Как известно тепло рассеянное в окружающем пространстве очень трудно, практически невозможно, собрать и преобразовать в какую-либо другую форму энергии...

В классической термодинамике энтропия является однозначной функцией состояния тела. В статистической механике существуют разные подходы к энтропии, основанные на вероятностной интерпретации энтропии. Нередко термодинамическая энтропия связывается тем или иным способом с информационной энтропией, а далее на этой основе возникает трактовка энтропии как мера знания / незнания агента состояния молекулярной системы. Таким образом в статистической механике существует спектр энтропий, которые в зависимости от школы трактуются либо как свойство системы, либо как мера знания агента о системе. Карнап написал...