17370845950

应对网站反爬需模拟真实浏览器行为：伪造User-Agent等请求头、用Session管理会话、控制请求频率并添加随机延时、针对JS渲染内容分析接口或逆向参数，复杂场景考虑Playwright/Selenium。

面对网站反爬机制，单纯用 requests.get() 很难稳定获取数据。关键不是“绕过”，而是让请求更像真实浏览器行为——从请求头、会话管理、频率控制到动态内容处理，每一步都需模拟到位。

伪造请求头与 User-Agent

多数网站通过 User-Agent 判断请求来源。默认的 requests UA（如 python-requests/2.xx）极易被识别为爬虫。

• 使用常见浏览器 UA 字符串，例如 Chrome 最新版：
  "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36"
• 每次请求随机切换 UA，可借助 fake-useragent 库（注意其已停止维护，推荐改用 user_agent 或预置列表）
• 务必补全其他常被校验的请求头：Accept、Accept-Language、Referer、Sec-Ch-Ua 等，缺失可能触发 403

使用 Session 保持会话状态

登录型站点或需 Cookie 传递的页面，必须用 requests.Session() 而非单次请求。Session 自动管理 Cookie、复用连接，还能继承 headers 设置。

• 登录后所有后续请求自动携带登录态 Cookie
• 可在 Session 实例中统一设置 headers，避免重复写入
• 配合 requests.adapters.HTTPAdapter 可设置重试策略，提升稳定性

控制请求频率与添加随机延时

高频请求是反爬最敏感信号之一。即使 headers 完美，短时间密集访问仍会被限流或封 IP。

• 在请求间加入 time.sleep(random.uniform(1, 3))，避免固定间隔
• 对目标站点先观察其 robots.txt 和响应头（如 X-RateLimit-Limit），尊重合理限制
• 分布式采集时，建议搭配代理池 + 用户标识（如不同账号/设备指纹）分散压力

应对 JavaScript 渲染与动态参数

当页面内容由 JS 异步加载（如 axios 请求接口）、或 URL/headers 中含时间戳、加密签名等动态字段时，requests 无法直接解析。

• 优先分析网页源码和 Network 面板，定位真实数据接口（XHR/Fetch），直接请求 API 而非渲染页
• 若参数加密（如 sign、token），需逆向 JS 逻辑（用 PyExecJS、execjs 或手动还原 Python 版本）
• 复杂场景（如滑块验证、Canvas 指纹）不建议硬刚，应评估是否需转用 Playwright / Selenium 模拟真实浏览器，但代价更高