信息熵
来自Wiki.Citydatum
熵在信息论中代表随机变量不确定度的度量。
- 信息熵是从热力学中借用过来的概念，用于解决对信息的量化度量问题。
- 信息熵是信息论之父克劳德·艾尔伍德·香农（C. E. Shannon）在1948年提出的。
信息熵的特性
香农总结了信息熵的三条性质：
- 单调性，即发生概率越高的事件，其所携带的信息熵越低。
- 非负性，即信息熵不能为负。
- 累加性，即多随机事件同时发生存在的总不确定性的量度是可以表示为各事件不确定性的量度的和。
