17370845950

爬虫要写得稳而非写得快，核心是减少对固定路径的依赖，多用语义选择器、相对关系、API替代渲染、多级fallback、轻量校验和快照比对。

网页结构一变，爬虫就报错？关键不是写得快，而是写得稳。核心思路是：少依赖固定路径，多用语义和容错逻辑。

用语义选择器代替绝对XPath

硬编码类似 //div[3]/ul/li[2]/a 的XPath，页面微调就失效。改用能表达“意图”的选择方式：

• 优先用 class、id、data-* 属性等有业务含义的标识，例如 soup.select("article.product-card a.price")
• 用相对关系代替层级计数，比如找“标题旁的发布时间”，写成 title_element.find_next_sibling("time") 而非 parent.find_all("span")[4]
• 对动态渲染内容（如 React/Vue），先确认是否真需 Selenium；多数情况用 API 抓取更稳（查 Network 面板找真实数据接口）

设置多级 fallback 解析逻辑

一个字段可能有多种存在形式，别只试一种路径：

• 先尝试主选择器，失败则降级到备选（如 class 名变更、标签从 h2 换成 h3）
• 用函数封装提取逻辑，内部按优先级尝试多个 selector：避免重复写 try/except 块
• 示例：获取商品价格可同时检查 .price、[data-testid="price"]、meta[itemprop="price"]

加轻量校验，早发现结构异常

不等出错才报警，主动判断关键结构是否存在：

• 加载完 HTML 后，先检查是否有 body 或主体容器（如 #main-content），没有就直接跳过或记录告警
• 对关键字段（如标题、价格），提取后做基础校验：非空、符合预期格式（正则匹配数字/日期）、长度合理
• 把校验结果记入日志，带 URL 和时间戳——结构变化时，日志就是第一线索

定期快照比对，提前感知变化

人工盯更新不现实，自动化才是关键：

• 每周用脚本抓取几个典型页面，保存 HTML 快照 + 关键字段值，存入本地或简单数据库
• 对比新旧快照中 select 结果数量、常见 class 是否消失、关键文本是否为空，生成差异报告
• 结合 GitHub Actions 或 cron，让比对自动跑，异常时邮件通知你

稳定不是靠一次写对，而是把变化当成常态来设计。每次解析都留退路，每次上线都留痕迹，爬虫才能活得久。