17370845950

本文介绍如何使用pandas快速将dataframe中的nan值统一替换为0，并结合向量化操作替代低效的iterrows循环，实现安全、简洁、高性能的逐行数值计算。

在数据处理中，直接对含NaN的列执行浮点运算会引发TypeError或意外的NaN传播，而逐行遍历（如iterrows()）不仅代码冗长、可读性差，还严重拖慢性能——尤其在中大型数据集上。最优解是：先统一填充缺失值，再利用Pandas向量化运算完成逻辑分支计算。

✅ 正确做法：填充 + 向量化

首先，用 fillna(0) 将所有NaN替换为0（默认作用于全部数值列）：

import pandas as pd
import numpy as np

df = pd.read_csv('documents/doc.csv', on_bad_lines='skip')  # 替代已弃用的 error_bad_lines
df = df.fillna(0)  # 一行解决：所有NaN → 0

⚠️ 注意：fillna(0) 默认对所有可填充列生效；若仅需特定列，可指定列名：df[['first column', 'second column', 'third column', 'fourth column', 'fifth column']] = df[['...']].fillna(0)

接着，避免iterrows()，改用向量化条件计算。根据原逻辑——当fourth column为0（含原NaN填充后）时走公式A，否则走公式B——可借助np.where实现：

# 提取并确保为数值类型（自动将非数字转为NaN，再被fillna(0)覆盖）
cols = ["first column", "second column", "third column", "fourth column", "fifth column"]
df[cols] = df[cols].apply(pd.to_numeric, errors='coerce').fillna(0)

# 向量化计算 final_grade
var1, var2, var3 = df["first column"], df["second column"], df["third column"]
var4, var5 = df["fourth column"], df["fifth column"]

# 条件：var4 == 0（含原NaN填充结果）→ 使用公式A；否则公式B
formula_a = np.round(0.25 * (var1 + var2 + var3) / 3 + 0.75 * var5, 1)
formula_b = np.round(0.166 * (var1 + var2 + var3) / 3 + 0.33 * var4 + 0.5 * var5, 1)

df['final_grade'] = np.where(var4 == 0, formula_a, formula_b)

? 为什么这更优？

• 性能：向量化运算比Python循环快10–100倍；
• 健壮性：pd.to_numeric(..., errors='coerce') 自动处理字符串、空格等脏数据，转为NaN后再统一填充；
• 可读性与可维护性：逻辑集中、无副作用、易于单元测试；
• 内存友好：不生成中间Python对象，全程在NumPy数组上运算。

? 补充建议

• 避免pdb.set_trace()在线上逻辑中；调试阶段可用print(df.head())或df.info()快速检查数据状态；
• 若需保留原始NaN语义（如区分“未填写”和“0分”），应改用mask或where做条件填充，而非全局fillna(0)；
• 对超大文件，考虑使用chunksize参数分块读取+处理，防止内存溢出。

最终，一行fillna(0)只是起点；真正高效的Pandas实践，是让数据清洗与业务逻辑都运行在向量引擎之上。