17370845950

Python如何解析损坏或不规范的XML文件 lxml容错解析
lxml 本身不支持直接容错解析损坏 XML,但可通过预处理组合实现尽力解析:用 BeautifulSoup 预清理修复结构、lxml 的 recover=True 模式跳过错误、正则清洗已知问题,或用 xmltodict 回退为轻量解析。

lxml 本身不支持直接容错解析损坏或不规范的 XML(比如缺失闭合标签、未转义的 &、编码声明错误、嵌套混乱等),但可以通过预处理 + 容错解析器组合实现“尽力而为”的解析。

用 BeautifulSoup 预清理,再交给 lxml 解析

BeautifulSoup(配合 html.parser 或 lxml 的 HTML 解析器)天生擅长修复破碎标记。它能把类 XML 的脏数据转成结构相对良好的树,之后可导出为标准 XML 字符串,再由 lxml 安全加载。

  • 安装依赖:pip install beautifulsoup4 lxml
  • 示例:修复常见错误(如 & 未转义、自闭合标签缺失斜杠、标签未闭合)
from bs4 import BeautifulSoup
from lxml import etree

损坏的 XML 片段(含非法 &、未闭合标签)

broken_xml = '''price: 10&20good'''

用 BeautifulSoup 当 HTML 解析(自动修复)

soup = BeautifulSoup(broken_xml, 'html.parser')

转回格式化 XML 字符串(注意:需手动补 xml 声明,若需要)

clean_xml = str(soup).replace('<', '<').replace('>', '>') # 可选:还原原始尖括号转义

更稳妥做法:用 soup.encode(formatter=None) 并解码为字符串

lxml 解析修复后的 XML

root = etree.fromstring(clean_xml.encode('utf-8')) print(root.xpath('//item/text()')) # ['price: 10&20']

用 lxml 的 recover=True + 自定义 error handler

lxml 的 etree.XMLParser 支持 recover=True,可在遇到严重错误时跳过非法部分、继续解析剩余内容(类似浏览器解析 HTML)。它不是万能修复,但对标签错位、小范围语法错误有效。

  • 仅适用于 well-formedness 错误(如闭合缺失),不处理编码问题或实体错误
  • 建议搭配自定义 ErrorHandler 捕获警告,便于定位问题位置
from lxml import etree

parser = etree.XMLParser(recover=True) tree = etree.parse('broken.xml', parser) # 不抛异常,内部静默跳过错误节点 root = tree.getroot()

查看解析是否丢失内容(对比原始行数/标签数)

print(len(root)) # 可能比预期少,说明部分被丢弃

先用正则/字符串清洗,再解析

对已知固定模式的损坏(如重复声明、BOM 头、多余空格、& 替换),手动预处理成本低、效果稳。

  • 移除 UTF-8 BOM:text.lstrip('\ufeff')
  • 修复孤立 &:用正则替换 r'&(?!(amp|lt|gt|quot|#\d+);)''&'
  • 补全自闭合标签(如

    ),仅在确定语义时使用
  • 删除重复的 声明(保留第一个)

用 xmltodict + json 回退解析(轻量替代)

若只需读取数据、不依赖 XPath 或命名空间,xmltodict 对不规范 XML 更宽容(底层用 expat,部分错误会忽略)。

  • 安装:pip install xmltodict
  • 它把 XML 转成 Python dict,天然忽略某些格式细节(如属性顺序、空白)
  • 适合配置文件、API 返回体等结构简单场景
import xmltodict

broken = 'AliceBob' try: data = xmltodict.parse(broken) print(data['data']['user']) # [{'@id': '1', '#text': 'Alice'}, 'Bob'] except Exception as e: print("still failed:", e)