17370845950

re.split() 按正则匹配分隔符位置切分，不保留匹配内容；遇开头/结尾/连续分隔符会产生空字符串，捕获组会使分隔符本身进入结果；需过滤空项或改用 re.findall() 提取含分隔符的片段。

Python 的 re.split() 不是简单按字符串切分，它用正则匹配“分隔符位置”，匹配结果本身不保留——这点和 str.split() 有本质区别，也是多数人踩坑的起点。

为什么 re.split() 有时返回空字符串或意外长度？

因为正则匹配到开头、结尾或连续分隔符时，会产生空段。比如 re.split(r'\s+', ' a b ') 返回 ['', 'a', 'b', '']；又如 re.split(r'(\d+)', 'abc123def456') 因用了捕获组，会把数字也作为结果项插入。

• 默认行为：只要匹配成功，就在匹配位置切，不管是否为空
• 连续匹配（如多个空格）→ 中间产生空字符串
• 带捕获组的模式（(\d+)）→ 分隔符内容也会出现在结果中
• 想过滤空项？得手动加 [x for x in result if x] 或用 filter(None, result)

如何保留分隔符同时拆分？用捕获组 + 后处理

想既按某模式切开，又留下分隔符本身（比如提取“词+标点”结构），必须用捕获组。但注意：re.split() 遇到捕获组时，会把捕获内容混进结果列表。

import re
text = "Hello, world! How are you?"
result = re.split(r'([,.!?])', text)
print(result)
# ['Hello', ',', ' world', '!', ' How are you', '?', '']

• 每个 ([,.!?]) 匹配到的标点都会成为独立列表项
• 结果是交替出现的“文本、标点、文本、标点…”结构，末尾可能多一个空字符串
• 实际使用时常配合 zip(result[::2], result[1::2]) 配对，或用循环跳过空项
• 若只需保留分隔符且不要空项，建议改用 re.findall(r'[^,.!?]+|[,.!?]', text) 更可控

re.split() 和 re.findall() 选哪个？看你要什么

本质区别：前者定位“切口”，后者定位“内容块”。别硬套 split 去取内容。

• 要“去掉分隔符，只留数据” → re.split() 简单直接，但记得清理空项
• 要“提取所有有意义的片段（含分隔符）” → re.findall() 更自然，模式写成 (?:...)|(...) 或交替匹配更稳

• 要“按复杂逻辑切，且每段需带上下文信息” → 考虑 re.finditer() 配合 span() 手动切片，控制力最强
• 性能敏感场景：简单分隔符（如固定字符）优先用 str.split()，比正则快一个数量级

常见陷阱：Unicode、边界、贪婪匹配全影响切分结果

中文、emoji、换行符、单词边界这些，稍不注意就切错位置。

• r'\s' 默认不匹配 Unicode 空白（如中文全角空格），要用 r'\s+' 加 re.UNICODE 标志，或直接写 r'[ \t\n\r\u3000]+'
• r'\b' 在非 ASCII 字符串里可能失效，中文分词别依赖它，改用显式字符类如 r'([，。！？；：])'
• 用 .* 做分隔符？极大概率贪婪过头。比如 re.split(r'第.*?章', s) 中的 ? 很关键，否则会从第一个“第”吃到最后一章
• 跨行文本记得传 re.DOTALL，否则 . 不匹配换行符，切分可能卡在第一行

真正难的不是写出能跑的正则，而是预判它会在哪些边界 case 里漏切、多切或切歪——多拿真实语料试，尤其关注开头、结尾、重复、混合编码这四类位置。