17370845950

信息熵是衡量数据不确定性的指标，计算公式为H(X) = -Σ p(x) * log₂(p(x))，可通过Python实现。使用NumPy统计类别频次并计算概率，再求和得到熵值；需处理p=0时的边界情况，避免log(0)错误。代码适用于二分类、多分类及文本标签，如['猫', '狗', '鸟']等离散数据，传入标签列表即可快速计算信息熵。

信息熵是衡量数据不确定性的指标，常用于决策树、机器学习等领域。在Python中，可以通过NumPy或数学公式直接实现信息熵的计算。

什么是信息熵

信息熵（Shannon Entropy）的公式为：

H(X) = -Σ p(x) * log₂(p(x))

其中 p(x) 是某个类别出现的概率。

使用Python计算信息熵

以下是基于列表或数组计算信息熵的完整代码示例：

import numpy as np

def calculate_entropy(labels):
    # 统计每个类别的频次
    _, counts = np.unique(labels, return_counts=True)

    # 计算概率
    probabilities = counts / len(labels)

    # 计算信息熵
    entropy = -np.sum(probabilities * np.log2(probabilities))

    return entropy

# 示例数据：分类标签
labels = [1, 1, 0, 0, 0, 1, 1, 0]

# 计算信息熵
entropy = calculate_entropy(labels)
print(f"信息熵: {entropy:.4f}")

处理边界情况

当某个类别概率为0时，0*log(0) 在数学上是0，但计算机可能报错。虽然 np.log2 遇到0会返回-inf，乘以0后为nan，因此可以加一点小技巧避免问题：

def calculate_entropy_safe(labels):
    _, counts = np.unique(labels, return_counts=True)
    probabilities = counts / len(labels)

    # 忽略概率为0的情况
    entropy = -np.sum([p * np.log2(p) for p in probabilities if p > 0])

    return entropy

适用于文本或离散数据

该方法不仅适用于二分类，也适用于多分类或文本标签：

```python # 多分类示例 labels_str = ['猫', '狗', '狗', '鸟', '猫', '鸟', '鸟'] entropy_str = calculate_entropy_safe(labels_str) print(f"文本标签的信息熵: {entropy_str:.4f}") ```

基本上就这些。只要传入一组离散标签，就能快速算出信息熵。