查看“信息熵”的源代码

{{提示|该页面仍需进一步完善，欢迎加入我们}}

熵在信息论中代表随机变量不确定度的度量。
* 信息熵是从热力学中借用过来的概念，用于解决对信息的量化度量问题。
* 信息熵是[[信息论]]之父克劳德·艾尔伍德·香农（C. E. Shannon）在1948年提出的。

== 信息熵的特性 ==
香农总结了信息熵的三条性质：
* 单调性，即发生概率越高的事件，其所携带的信息熵越低。
* 非负性，即信息熵不能为负。
* 累加性，即多随机事件同时发生存在的总不确定性的量度是可以表示为各事件不确定性的量度的和。

== 参考链接 ==
* [https://en.wikipedia.org/wiki/Entropy_(information_theory) Wikipedia: Information Entropy]
* [https://www.zhihu.com/question/22178202 知乎：信息熵是什么？]
* [https://baike.baidu.com/item/信息熵 百度百科：信息熵]