17370845950

本文介绍如何在不显式循环的前提下，基于关键词匹配及行偏移规则（如“cobra+2”）批量提取dataframe中的指定行，利用isin()、shift()和逻辑组合实现向量化筛选。

在实际数据分析中，常需根据某列中的关键词（如 'viper'、'cobra'）定位行，并进一步提取其上下文行（例如关键词所在行下方第2行）。若采用 for 循环或多次调用 .index[0] + .iloc，不仅代码冗长、性能低下，还易因索引越界或重复匹配出错。Pandas 提供了更

核心思路是：对每组「关键词列表 + 行偏移量」生成一个布尔序列，再通过逻辑或（np.logical_or.reduce）合并所有条件，最终一次性完成布尔索引。

以下为完整实现示例：

import pandas as pd
import numpy as np

# 构造原始数据
data = {0: ['a', 'viper', 'b', 'c', 'cobra', 'd', 'e', 'f'],
        1: [20, 52, 59, 67, 11, 40, 10, 60]}
df = pd.DataFrame(data)

# 定义查询规则：字典键为偏移量（整数），值为关键词列表
# 0 → 匹配关键词本身；2 → 匹配关键词所在行向下偏移2行的位置
query = {
    0: ['viper', 'cobra'],  # 直接匹配 viper 或 cobra 所在行
    2: ['cobra']           # 匹配 cobra 所在行 + 2 行（即索引 4+2=6 → 'e'）
}

# 为每组 (offset, keywords) 构建布尔掩码，并平移对应行数
masks = []
for offset, keywords in query.items():
    base_mask = df[0].isin(keywords)          # 基础匹配：True 在关键词所在行
    shifted_mask = base_mask.shift(offset, fill_value=False)  # 向下平移 offset 行
    masks.append(shifted_mask)

# 合并所有掩码：任意一个为 True 即保留该行
mask = np.logical_or.reduce(masks)
result = df[mask].reset_index(drop=True)

print(result)

输出：

       0   1
0  viper  52
1  cobra  11
2      e  10

✅ 关键要点说明：

• shift(k) 将布尔序列整体向下移动 k 行（正数向下，负数向上），超出范围处用 fill_value=False 填充，确保布尔维度一致；
• 使用 np.logical_or.reduce() 替代链式 | 运算，可安全处理任意数量的条件（包括空列表）；
• 支持混合偏移：例如 {0: ['viper'], 1: ['cobra'], -1: ['f']} 可同时提取 viper 行、cobra 下一行、以及 f 的上一行；
• 若关键词重复出现（如多个 'cobra'），所有匹配位置都会触发对应偏移行的选取（可配合 drop_duplicates() 去重）。

⚠️ 注意事项：

• 偏移量必须为整数，且应确保 shift() 后不会因数据长度不足导致意外截断（fill_value=False 已规避此风险）；
• 此方法严格基于行序位置（index 顺序），而非逻辑索引值——即使 DataFrame 索引非连续（如含缺失或重排），只要未调用 sort_index() 或 reindex() 破坏原始顺序，结果仍可靠；
• 如需支持多列联合匹配（如列0为关键词、列1满足数值条件），可将 df[0].isin(...) 替换为复合布尔表达式（如 (df[0].isin(...)) & (df[1] > 10)），再统一 shift。

该方案兼具可读性、扩展性与执行效率，是处理“关键词+相对位置”类筛选任务的推荐范式。