仙农嫡

仙农嫡

仙农嫡（Shannon's entropy）是美国工程师香农于1948年提出的信息熵概念，用于量化信息源的不确定性或随机性。其核心公式为H(x)=-Σp_i log p_i，其中p_i表示事件发生的概率，该公式满足均匀分布不确定性最大、独立事件可加性等基本属性 。

该测度通过概率分布计算信息熵值，当概率为1时熵值为零，概率越低则单次事件信息量越大。根据对数底数不同，熵值单位可分为比特（底数2）、奈特（底数e）和哈特（底数10） 。在通信系统中，信息熵被用于衡量信息传输效率，反映信道容量与冗余度的关系 。

香农嫡源于热力学熵概念的拓展，其公式与玻尔兹曼熵存在常系数差异 。该测度现被应用于算法推荐、数据分类、专利特征分析等领域，通过信息熵评估系统离散度或特征缺失程度 。

想要了解更多“仙农嫡”的信息，请点击：仙农嫡百科