使用requests配合urllib3的重试机制是提高爬虫稳定性的常见方法，通过配置HTTPAdapter实现自动重试。示例中定义create_session_with_retry函数，利用Retry类设置总重试次数、触发重试的状态码列表、允许重试的请求方法及退避因子。tenacity库提供更灵活的重试控制，支持任意函数的指数退避重试，适用于复杂场景。对于简单需求，可手动结合try-except与循环实现重试逻辑，便于调试。生产环境推荐使用requests+urllib3组合，合理设置重试参数以避免对服务器造成压力。
爬虫在请求网页时，常会遇到网络波动、目标服务器响应慢或临时封禁等问题。为提高稳定性，加入异常重试机制非常必要。Python中可通过多种方式实现请求失败后的自动重试。
使用requests配合urllib3的重试机制
requests库底层依赖urllib3，可以通过配置HTTPAdapter来启用连接重试功能。这是最常见且稳定的方法。
以下是一个设置请求重试的示例：
import requests from requests.adapters import HTTPAdapter from urllib3.util.retry import Retrydef create_session_with_retry(retries=3, backoff_factor=0.5): session = requests.Session() retry_strategy = Retry( total=retries, # 总重试次数（包含首次请求） status_forcelist=[429, 500, 502, 503, 504], # 遇到这些状态码时重试 method_whitelist=["GET", "POST"], # 允许重试的请求方法 backoff_factor=backoff_factor # 重试间隔时间增量 ) adapter = HTTPAdapter(max_retries=retry_strategy) session.mount("http://", adapter) session.mount("https://", adapter) return session
使用示例
session = create_session_with_retry(retries=3) try: response = session.get("https://www./link/874b2add857bd9bcc60635a51eb2b697") print(response.status_code) except requests.exceptions.RequestException as e: print(f"请求失败: {e}")
说明：
- total：控制最大尝试次数，包括第一次请求。
- status_forcelist：指定哪些HTTP状态码触发重试。
- backoff_factor：用于计算重试延迟，公式为：{backoff factor} * (2 ** (retry count - 1))。
使用tenacity库进行通用重试控制
tenacity是一个更灵活的Python重试库，支持任意函数的重试，不限于网络请求。
from tenacity import retry, stop_after_attempt, wait_exponential import requests@retry(stop=stop_after_attempt(3), wait=wait_exponential(multiplier=1, max=10)) def fetch_url(url): print(f"正在请求: {url}") response = requests.get(url, timeout=5) response.raise_for_status() return response
调用
try: res = fetch_url("https://www./l
ink/874b2add857bd9bcc60635a51eb2b697") print(res.status_code) except requests.exceptions.RequestException as e: print(f"最终失败: {e}")
ink/874b2add857bd9bcc60635a51eb2b697")
print(res.status_code)
except requests.exceptions.RequestException as e:
print(f"最终失败: {e}")特点：
- stop_after_attempt(n)：最多尝试n次。
- wait_exponential：指数退避策略，避免频繁请求。
- 可结合多种条件，如异常类型过滤（retry_if_exception_type）。
手动捕获异常并循环重试
对于简单场景，可以直接使用try-except加循环实现重试逻辑。
import requests import timedef get_with_retry(url, max_retries=3, delay=1): for i in range(max_retries): try: response = requests.get(url, timeout=5) if response.status_code == 200: return response else: print(f"状态码异常: {response.status_code}，第{i+1}次尝试") except requests.exceptions.RequestException as e: print(f"请求出错: {e}，第{i+1}次尝试")
if i < max_retries - 1: time.sleep(delay * (2 ** i)) # 指数等待 return None使用
resp = get_with_retry("https://www./link/b05edd78c294dcf6d960190bf5bde635") if resp: print("请求成功") else: print("最终失败")
这种方法便于调试和自定义逻辑，适合小型项目或学习用途。
基本上就这些。根据项目复杂度选择合适的重试方案，推荐生产环境使用requests+urllib3组合，兼顾性能与可控性。重试机制虽好，也要注意设置合理次数和间隔，避免对目标服务器造成压力。
