Python网页解析技巧_HTML与XPath说明【指导】
Python网页解析核心是用XPath准确提取HTML目标数据，需理解DOM结构；推荐lxml库配合requests，注意动态渲染、反爬及class变动等常见问题。
Python做网页解析，核心是准确提取HTML里的目标数据。用好XPath，比单纯靠正则或简单字符串匹配更稳定、更灵活——前提是理解HTML结构和XPath定位逻辑。
HTML结构决定XPath怎么写
XPath不是凭空写的，它严格依赖网页的DOM树结构。比如一个商品标题常在新品上市
里，那对应XPath就是//h2[@class="title"]；如果它嵌在
建议动手前先用浏览器开发者工具（F12）右键元素 → “Copy XPath”，观察生成路径，再手动简化（比如把冗长的绝对路径/html/body/div[3]/section/div/h2换成更健壮的相对路径//section//h2）。
常用XPath语法速查与避坑
- //tag：匹配任意层级的tag元素（如//a找所有链接）
- @attr="value"：按属性筛选（如//img[@alt]找有alt属性的图片，//div[@id="content"]精准定位）
- text()：取标签内纯文本（如//span/text()，注意它不包含子标签内容）
- contains(@class, "btn")：class含“btn”就匹配（避免因class多值如class="btn btn-primary"导致完全匹配失败）
- position()=1 或 [1]：取第一个匹配项（XPath索引从1开始，不是0）
常见错误：用/div[1]想取第一个div，结果没生效——因为这是指父节点下的第一个子元素是否为div，而非页面中第一个div。应改用(//div)[1]。
用lxml + XPath实战解析一页
安装：pip install lxml（比内置的html.parser更快更标准，对XPath支持完整）
基础流程：
- 用requests获取HTML源码（注意加headers模拟浏览器，防反爬）
- 用lxml.html.fromstring()解析成可查询对象
- 调用.xpath()方法传入XPath字符串，返回列表（即使只匹配一个，也是[Element]）
- 对结果用.text_content()或.get("href")等提取内容
示例：抓取豆瓣电影Top250第一页的片名和评分
from lxml import html
import requests
resp = requests.get("https://movie.douban.com/top250", headers={"User-Agent": "Mozilla/5.0..."})
tree = html.fromstring(resp.content)
titles = tree.xpath('//div[@class="hd"]/a/span[1]/text()')
ratings = tree.xpath('//div[@class="bd"]/div[@class="star"]/span[2]/text()')
for t, r in zip(titles, ratings):
print(f"{t.strip()} —— {r.strip()}")
当XPath失效时的应对思路
页面动态渲染（如Vue/React）、JS懒加载、反爬策略都可能导致直接请求HTML拿不到目标数据。这时别硬调XPath：
- 先确认源码里是否真有该内容（Ctrl+U看原始HTML），没有就说明是JS生成的，需换方案（如Selenium、Playwright）
- 检查是否被重
定向或需要登录cookie，用session保持状态 - 部分网站会随机改class名，可改用更稳定的定位方式：比如找附近有固定文字的标签，用following-sibling::或ancestor::向上找容器
- XPath太复杂难维护？考虑用CSS选择器（lxml也支持.cssselect()），语义更直观，例如div.item h2.title
定向或需要登录cookie，用session保持状态不复杂但容易忽略。
