17370845950

pandas去重需指定subset业务主键，keep参数控制保留策略，NaN需谨慎处理；空值应按成因选择填充或删除；类型转换前须用coerce验证；清洗步骤应函数化、可复现、可版本控制。

用 pandas.DataFrame.drop_duplicates() 去重前必须明确「去重依据」

重复行不等于“完全相同”，业务上常需按关键字段判断是否冗余。比如用户表中 id 不同但 phone 和 email 都一致，应视为同一人重复录入。

• 直接调用 df.drop_duplicates() 默认检查所有列，容易漏掉逻辑重复
• 务必用 subset 参数指定业务主键，例如 df.drop_duplicates(subset=['phone', 'email'])
• 注意 keep 参数：设为 'first'（默认）保留首次出现；设为 'last' 保留最新记录；设为 False 则全部删除——后者适合清理测试数据或临时脏数据
• 若字段含 NaN，pandas 默认把它们视为相等，可能误删。可先用 fillna() 统一处理，或改用 df[~df.duplicated(subset=..., keep='first')] 避免隐式 NaN 比较

空值处理不能只靠 fillna() 或 dropna()

填均值、删整行看似简单，但会扭曲分布或丢失关键样本。真实清洗中要区分空值成因：是采集失败？字段不适用？还是用户主动留空？

• df.isna().sum() 先看各列缺失比例；超过 70% 缺失且无业务补全路径的列，建议直接 df.drop(columns=['col_name'])
• 对数值型字段，避免无差别用 df['col'].fillna(df['col'].mean()) —— 若存在长尾分布（如订单金额），中位数更稳健：df['amount'].fillna(df['amount'].median())
• 分类字段优先用众数填充：df['status'].fillna(df['status'].mode()[0] if not df['status'].mode().empty else 'unknown')
• 时间字段缺失时，慎用当前时间填充。更合理的是标记为 pd.NaT 并单独建列 is_time_missing 供后续建模使用

用 astype() 转类型前先验证数据合法性

直接 df['age'].astype('int') 遇到 'N/A' 或浮点字符串会报 ValueError: invalid literal for int()，但错误信息不指明哪一行出问题。

• 先用 pd.to_numeric(df['age'], errors='coerce') 将非法值转为 NaN，再检查 df['age'].isna().sum() 确认异常量级
• 日期列别急着 pd.to_datetime()：含模糊格式（如 '2025-13-01' 或 'Q1 2025'）会导致整列变 NaT。加参数 errors='coerce' 并配合 df['date'].dt.year.isna() 定位问题行
• 字符串列转 category 类型前，先 df['city'].nunique() / len(df) 看基数率；若唯一值占比 > 0.5，转 category 反而增大内存

规则必须可复现：把清洗步骤封装成函数而非脚本片段

临时写一堆 df = df[...]; df['x'] = ... 很快变成“只有当时写的人能看懂”的黑盒。下次数据源字段微调或新增校验项，就得重翻日志逐行改。

• 每个清洗动作对应一个纯函数，输入 DataFrame，输出 DataFrame，不修改原对象。例如：

def clean_phone_column(df):
    df = df.copy()
    df['phone'] = df['phone'].str.replace(r'\D', '', regex=True)
    df = df[df['phone'].str.len() == 11]
    return df

• 用字典统一管理规则执行顺序：cleaning_pipeline = [('drop_dupes', drop_duplicates_by_key), ('clean_phone', clean_phone_column)]，再循环调用保持可插拔
• 关键校验点加断言：assert df['user_id'].is_unique, "user_id contains duplicates after dedup"，失败时立刻暴露问题而非静默带病运行

最易被忽略的是：清洗规则本身需要版本控制。哪怕只是加了一行 df['score'] = df['score'].clip(lower=0, upper=100)，也该和原始数据哈希值、执行时间一起记入元数据表——否则半年后发现模型效果下滑，根本没法回溯是哪次清洗引入了截断偏差。