17370845950

本文介绍如何用python识别并删除具有“前缀重复关系”的多行文本（如每行是下一行的前缀），只保留最长的那行，适用于日志精简、命令补全去重等场景。

在处理结构化文本（例如命令提示、分层日志或自动补全文本）时，常遇到如下模式：

This  
This line  
This line has  
This line has five  
This line has five strings  

这里每一行都是下一行的严格前缀（即 line[i] == line[i+1][:len(line[i])]）。用户需求不是去重（set() 方案仅过滤完全相同的行），而是“链式前缀压缩”——仅保留每条前缀链中最长的末端行。

以下是一个健壮、简洁且可读性强的解决方案：

infilename = "input.txt"  # 替换为你的输入文件路径

with open(infilename) as fin:
    # 读取所有行并去除尾部换行符与空白（避免因空格导致误判）
    lines = [line.rstrip('\n\r') for line in fin]

i = 0
while i < len(lines):
    # 向后检查：若下一行以当前行为前缀，则跳过当前行（它是“中间前缀”）
    while i + 1 < len(lines) and lines[i + 1].startswith(lines[i]):
        i += 1
    # 此时 lines[i] 是当前前缀链中最长的一行 → 输出/保存
    print(lines[i])
    i += 1

✅ 关键逻辑说明：

• 使用 str.startswith() 判断前缀关系，天然支持空格、标点等任意字符；
• while 循环实现“贪心跳过”：只要下一行包含当前行作为前缀，就持续前进，最终停在链尾；
• 不依赖排序，保持原始行序（前提是输入已按前缀层级自然排列，如示例所示）；
• rstrip('\n\r') 比 str.rstrip() 更精准，避免误删行首/行中空格。

⚠️ 注意事项：

• 若输入未按前缀长度递增排序（例如 apple, app, application 混排），该算法将失效。此时需先按字符串长度升序排序：lines.sort(key=len)；
• 空行或纯空白行会被视为有效前缀（因 "".startswith("") 为 True），建议预处理过滤：lines = [l for l in lines if l.strip()]；
• 如需写入文件而非打印，将 print(lines[i]) 替换为 outfile.write(lines[i] + '\n')，并在开头打开输出文件。

该方案时间复杂度为 O(n×m)，其中 n 为行数、m 为平均行长度，兼顾效率与可维护性，适合处理数千行以内的典型文本场景。