信息熵

来自Wiki.Citydatum
Reiziuh（讨论 | 贡献）2018年4月7日 (六) 08:32的版本 （创建页面，内容为“{{提示|该页面仍需进一步完善，欢迎加入我们}} 熵在信息论中代表随机变量不确定度的度量。 * 信息熵是从热力学中借用过…”）
(差异) ←上一版本 | 最后版本 (差异) | 下一版本→ (差异)
跳转至： 导航， 搜索
TODO
 提示：该页面仍需进一步完善，欢迎加入我们


熵在信息论中代表随机变量不确定度的度量。

  • 信息熵是从热力学中借用过来的概念，用于解决对信息的量化度量问题。
  • 信息熵是信息论之父克劳德·艾尔伍德·香农（C. E. Shannon）在1948年提出的。

信息熵的特性

香农总结了信息熵的三条性质：

  • 单调性，即发生概率越高的事件，其所携带的信息熵越低。
  • 非负性，即信息熵不能为负。
  • 累加性，即多随机事件同时发生存在的总不确定性的量度是可以表示为各事件不确定性的量度的和。

参考链接

取自“http://wiki.citydatum.com/index.php?title=信息熵&oldid=417”