17370845950

本文介绍一种无需显式双重 for 循环的优雅方式，利用 pandas 的链式 groupby 和 apply 方法，将 dataframe 按多个列分组并转换为深度嵌套字典（如 {level1: {level2: [{record}, ...]}}）。

在数据处理中，常需将扁平化的 DataFrame 转换为结构化嵌套字典，以适配 API 请求、配置生成或前端树形渲染等场景。传统双重 for 循环虽直观，但代码冗长、可读性差且难以扩展。更优解是充分利用 pandas 的分组聚合能力——通过嵌套 groupby().apply() 实现声明式层级构建。

核心思路是：外层按第一级键（如 'col1'）分组 → 内层对每个子组再按第二级键（如 'col2'）分组 → 对最内层子组调用 to_dict(orient='records') 生成记录列表。配合 .to_dict('index') 可自动将外层分组索引转为字典键。

以下为推荐实现（简洁、高效、可读性强）：

import pandas as pd

# 构造示例数据
a = pd.DataFrame([
    {'col1': 'A', 'col2': 'Person 1', 'height': 1, 'weight': 10},
    {'col1': 'A', 'col2': 'Person 1', 'height': 2, 'weight': 20},
    {'col1': 'A', 'col2': 'Person 1', 'height': 3, 'weight': 30},
    {'col1': 'A', 'col2': 'Person 2', 'height': 4, 'weight': 40},
    {'col1': 'A', 'col2': 'Person 2', 'height': 5, 'weight': 50},
    {'col1': 'A', 'col2': 'Person 2', 'height': 6, 'weight': 60},
    {'col1': 'B', 'col2': 'Person 1', 'height': 11, 'weight
': 101},
    {'col1': 'B', 'col2': 'Person 1', 'height': 21, 'weight': 201},
    {'col1': 'B', 'col2': 'Person 1', 'height': 31, 'weight': 301},
    {'col1': 'B', 'col2': 'Person 2', 'height': 41, 'weight': 401},
    {'col1': 'B', 'col2': 'Person 2', 'height': 51, 'weight': 501},
    {'col1': 'B', 'col2': 'Person 2', 'height': 61, 'weight': 601},
])

# 一行式嵌套转换（推荐）
result = a.groupby('col1').apply(
    lambda x: x.groupby('col2').apply(
        lambda y: y.to_dict('records')
    )
).to_dict('index')

✅ 优势说明：

• 零显式循环：完全避免 for 循环，逻辑聚焦于“按什么分组”和“每组转什么”，语义清晰；
• 天然层级映射：groupby('col1').apply(...) 输出 Series，索引为 'col1' 值；其值为另一 Series（索引为 'col2'），再经 to_dict('index') 即得两层嵌套字典；
• 可扩展性强：若需三级嵌套（如再按 'category' 分组），只需追加 .groupby('category').apply(...) 即可；
• 性能良好：基于 pandas 底层优化，比纯 Python 循环更高效，尤其在大数据集上。

⚠️ 注意事项：

• to_dict('index') 是关键收尾步骤，它将外层 groupby().apply() 返回的 Series 自动转换为以 'col1' 值为键的字典；若省略，会得到一个带 MultiIndex 的 Series，不符合预期结构；
• y.to_dict('records') 确保每组内所有行转为字典列表（保留原始字段，含分组列）；若不需 'col1'/'col2' 字段，可在 y 上先 drop(['col1','col2'], axis=1)；
• 若分组列存在缺失值（NaN），需提前处理（如 dropna=True 在 groupby 中），否则 NaN 会作为键导致不可哈希错误。

总结：通过 groupby().apply() 的嵌套组合，我们以函数式风格实现了清晰、健壮、可维护的多级嵌套字典转换——这是 pandas 高级用法的典型范例，值得纳入数据工程日常工具箱。