17370845950

数据清洗需针对性处理缺失值与异常值：识别时兼顾各类伪装缺失；填充按列类型选择众数、中位数或前向填充；异常值优先用IQR法结合可视化判断；推荐pipe链式操作并校验结果。

处理缺失值和异常值是数据清洗的核心环节，直接影响后续分析的准确性和模型效果。Pandas 提供了丰富、灵活的工具，关键在于理解不同场景下该选哪种方法，而不是堆砌函数。

识别缺失值：别只盯着 np.nan

缺失值不只有 np.nan，还可能表现为空字符串、占位符（如 "N/A"、"NULL"、-999）、或空列表等。直接用 .isna() 可能漏掉这些“伪装”的缺失。

• 先用 df.info() 和 df.describe(include='all') 快速扫视各列的数据类型与唯一值分布
• 对字符型列，检查常见占位符：df[col].str.strip().isin(['', 'N/A', 'NULL', 'unknown'])
• 对数值列，留意业务逻辑中的非法值（如年龄为 -1、销售额为 0 但应有交易记录），需结合领域知识判断

填充缺失值：按列特性选择策略

均值/中位数填充不是万能解。类别型、时序型、高基数列各有更合理的填充方式。

• 类别型列（如城市、产品类型）：优先用众数（mode().iloc[0]）或新增 “Unknown” 类别，避免引入虚假分布
• 数值型列（连续）：若分布偏斜明显（如收入），中位数比均值更稳健；若存在时间维度，可用前向填充（ffill）或插值（interpolate(method='linear')）
• 高基数 ID 类列（如用户 ID）：一般不填充，考虑删除整行或标记为缺失参与后续建模（如用 pd.get_dummies(..., dummy_na=True)）

检测与处理异常值：少用“一刀切”的 3σ

3σ 法则仅适用于近似正态分布，且对样本量敏感。实际中更推荐组合判断：

• 先画箱线图（df.boxplot()）或直方图，直观看离群点位置和数量
• 对单变量，用 IQR（四分位距）法：Q1 - 1.5×IQR 和 Q3 + 1.5×IQR 划定边界
• 对多变量关系（如价格 vs 销量），用散点图或局部异常因子（LOF，需 sklearn）识别条件异常
• 处理方式取决于业务：可截断（clip）、替换为上下界、转为 NaN 后走缺失流程，或保留并添加“是否异常”标志列用于建模

链式操作与就地修改：保持逻辑清晰不污染原数据

清洗过程容易写成多步赋值，既冗余又难调试。推荐用 .pipe() 或明确链式调用，并默认不修改原 DataFrame。

• 避免频繁写 df = df.dropna() → df = df.fillna(...) → df = df.clip(...)
• 改用：df_clean = (df.pipe(clean_col_types).pipe(handle_missing).pipe(remove_outliers))
• 所有清洗函数内部用 copy=True，确保输入不变；必要时才加 inplace=True（如内存受限）
• 每步后加简单校验，例如 assert df_clean[col].notna().all(), f"{col} 仍有缺失"