17370845950

本文介绍在数据管道验证中高效识别异常数值（如 nan、inf、-inf、none）的专业方法，推荐使用 `math.isfinite()` 结合类型校验，并对比范围检查的局限性，提供可直接复用的健壮校验函数。

在构建数据清洗或校验模块时，仅依赖数值范围（如 [-10, 10]）无法覆盖所有异常情况——例如 float('nan')、float('inf')、None 或字符串 'null' 均可能合法通过区间判断，却会导致后续计算崩溃或结果失真。真正可靠的“好数字”（good number）应同时满足三个条件：
✅ 是 Python 原生数值类型（int 或 float）；
✅ 非空且非 None；
✅ 为有限数（finite），即既非 NaN 也非 ±inf。

math.isfinite(x) 是标准库中最简洁、高效的判定工具，它自动排除 NaN 和 inf/-inf，且对 int 类型安全兼容（无需额外 isnan 判断）。因此，推荐校验逻辑如下：

import math

def is_good_number(x) -> bool:
    """判断单个值是否为有效有限数值（排除 None, NaN, inf, -inf, 字符串等）"""
    if not isinstance(x, (int, float)):
        return False
    # math.isfinite 自动处理 NaN 和 inf，但要求输入为数值类型
    return math.isfinite(x)

def all_good_numbers(data) -> bool:
    """批量校验数据中所有元素是否均为好数字"""
    return all(is_good_number(x) for x in data)

# 示例测试
data1 = [1.5, -7, 0, 99]
data2 = [1.5, float('nan'), 42]
data3 = [1.5, None, 3.14]
data4 = [1.5, float('inf'), -float('inf')]

print(all_good_numbers(data1))  # True
print(all_good_numbers(data2))  # False （含 NaN）
print(all_good_numbers(data3))  # False （含 None）
print(all_good_numbers(data4))  # False （含 inf/-inf）

⚠️ 注意事项：

• 不要混用 numpy.isnan() 或 pandas.isna()：它们对非数组对象行为不一致（如 np.isnan(None) 报错），而 math.isfinite() 是纯 Python、零依赖、类型安全的首选；
• 显式排除 None：math.isfinite(None) 会抛出 TypeError，因此必须前置 isinstance 检查；
• 警惕字符串伪装：如 'inf'、'nan' 等字符串需在上游解析阶段转换或拦截，is_good_number('inf') 直接返回 False（因类型不符）；
• 性能提示：对大规模数据，可结合 numpy 向量化加速（如 np.isfinite(arr) & ~np.isnan(arr)），但需确保输入为 np.ndarray 且已处理 None（建议先转 pd.Series 并用 .dropna() 预处理）。

总结：isinstance(x, (int, float)) and math.isfinite(x) 是校验“好数字”的黄金组合——语义清晰、无第三方依赖、覆盖全部 IEEE 754 异常值，远比范围约束更本质、更可靠。