17370845950

本文介绍一种高效、简洁的方法，使用 pandas 的 `concat` 与分组聚合实现多表按公司名称（支持近似匹配）智能拼接，并自动处理列冲突（如重复值存为元组

在实际数据分析中，我们常需整合来自不同来源的公司数据表——这些表共享“Company Name”列，但名称存在拼写差异（如 "A corp" vs "A Corporation"）、大小写不一致或空格冗余；同时各表字段不完全重叠（如有的含 Value 和 Currency，有的含 HQ 和 Website）。直接使用 pd.merge 或 pd.concat 无法解决模糊匹配问题，而手动遍历 + fuzzywuzzy 易出错、性能差且逻辑复杂。

更优解是先标准化名称，再借助索引对齐与分组聚合完成智能合并。核心思路如下：

1. 统一标准化公司名：对每张表的 'Company Name' 列执行清洗（小写、去空格、去 NaN），并基于此构建唯一键；
2. 引入辅助索引：使用 groupby('Company Name').cumcount() 为同名公司生成序号（如 "D corp" 出现两次 → 索引 (D corp, 0) 和 (D corp, 1)），避免合并时行错位；
3. 水平拼接（axis=1）：将所有表设为 MultiIndex（['Company Name', cumcount]）后拼接，使相同公司+序号的行对齐；
4. 按公司名聚合：对每个列应用自定义聚合函数：保留非空值，若多个则转为 tuple，若唯一则取该值，全空则返回 NaN。

以下是完整可运行示例代码：

import pandas as pd
import numpy as np

# 示例数据（对应问题中的四张表）
df1 = pd.DataFrame({'Company Name': ['A corp', 'B corp'], 'Value': ['Cell 2', 'Cell 4']})
df2 = pd.DataFrame({
    'Company Name': ['A corp', 'C corp'],
    'Date': ['Cell 2', 'Cell 4'],
    'Leadership': ['Cell 1', 'Cell 1'],
    'Net Profit': ['Cell 2', 'Cell 2']
})
df3 = pd.DataFrame({'Company Name': ['A corp', 'B corp', 'C corp'], 'Value': ['Cell 2', 'Cell 4', 'Cell 4']})
df4 = pd.DataFrame({
    'Company Name': ['D corp', 'D corp'],
    'Percentage': ['Cell 2', 'Cell 4'],
    'Comment': ['Cell 2', 'Cell 4'],
    'HQ': ['Cell 2', 'Cell 4'],
    'Website': ['Cell 2', 'Cell 4']
})

dfs = [df1, df2, df3, df4]

def aggregate_nonnull(s):
    s_clean = s.dropna()
    if len(s_clean) > 1:
        return tuple(s_clean.unique())  # 去重后转元组，避免重复项
    elif len(s_clean) == 1:
        return s_clean.iloc[0]
    else:
        return np.nan

# 关键步骤：设置双层索引 + 水平拼接 + 分组聚合
combined = (
    pd.concat([
        d.set_index(['Company Name', d.groupby('Company Name').cumcount()]) 
        for d in dfs
    ], axis=1)
    .T.groupby(level=0).agg(aggregate_nonnull).T
    .reset_index('Company Name')
)

print(combined)

✅ 输出说明：

• 每行代表一个“公司名-序号”组合（如 D corp 有两行，因原始表中出现两次）；
• 共享列（如 Value）自动合并：A corp 的 Value 同时来自 df1 和 df3 → (Cell 2, Cell 2)；
• 独有列（如 Website）仅在对应表存在的行填充，其余为 NaN；
• 所有列均保留，无信息丢失。

⚠️ 注意事项：

• 此方法不依赖 fuzzywuzzy，而是假设输入表已通过预处理（如 fuzzywuzzy 或 rapidfuzz）完成了名称归一化（例如将 "A Corporation" 统一映射为 "A corp"），否则需在 set_index 前添加标准化步骤；
• 若需真正模糊匹配（而非预对齐），建议先用 rapidfuzz.process.extractOne 批量标准化所有表的 'Company Name' 列，再执行上述流程；
• tuple 类型字段在后续分析中不可直接参与数值计算，如需展开可使用 pd.Series.explode()；
• 对超大表，pd.concat(..., axis=1) 可能内存压力较大，可改用 dask 或分块处理。

该方案兼顾简洁性、可读性与工程鲁棒性，是处理多源异构公司数据融合的推荐实践。