17370845950

掌握Pandas和NumPy关键在于理解场景化用法：善用索引操作、向量化计算、合理合并、内存优化，每次操作前明确底层逻辑与副作用。

Pandas 和 NumPy 是 Python 数据分析的基石，掌握它们的关键用法比死记语法更重要。真正高效的分析，往往取决于你是否知道在什么场景下该用哪一种方法、为什么这样写更安全或更快。

用对索引，省掉一半数据清洗时间

很多人一上来就用 df['col'] 或 df.iloc[0]，但实际中多数脏数据问题出在索引混乱上。Pandas 的 loc 和 set_index 配合使用，能快速定位和修复重复、错位、缺失索引。

• 读取 CSV 时加 index_col=0，避免第一列被当普通列处理
• 用 df.index.duplicated().any() 快速检查是否有重复索引
• 重设索引别总用 reset_index(drop=True)，先看 df.index.is_monotonic_increasing 判断是否需要排序再重设

NumPy 向量化操作不是“炫技”，是避免隐式循环的刚需

用 for 循环遍历数组计算均值、条件替换，不仅慢，还容易因边界错误引发 IndexError。NumPy 提供的布尔索引、np.where、np.select 等，本质是把逻辑“一次性”作用在整个数组上。

• 替代 if-else 赋值：用 arr = np.where(condition, val_if_true, val_if_false)
• 多条件分支：优先用 np.select([cond1, cond2], [val1, val2], default=np.nan)
• 注意 np.nan 在比较中的特殊性——np.nan == np.nan 返回 False，要用 np.isnan() 判断

合并与透视：别硬套 merge，先想清楚“关系”是什么

merge、concat、join 看似功能重叠，其实对应不同数据结构关系。盲目用 pd.merge(left, right, on='id') 可能导致笛卡尔积或意外丢失行。

• 一对一匹配 → merge + validate='one_to_one'（显式校验）
• 主表补字段 → 用 map 比 merge 更轻量：df['new_col'] = df['key'].map(other_series)
• 宽变长/长变宽 → 直接用 melt() 或 pivot_table()，别手动构造循环

内存与性能：小改动带来大提升

一个 100MB 的 CSV 加载后变成 800MB DataFrame，很常见。问题常出在 dtype 自动推断不准，尤其是字符串和整数混存。

• 读取时指定 dtype：比如 {'user_id': 'category', 'score': 'float32'}
• 用 df.memory_usage(deep=True).sum() 定期检查内存占用，找出“吃内存大户”列
• 删除无用列后，调用 df = df.copy() 防止视图引用原大数据块