17370845950

Python爬虫性能优化关键在于动态、精细化的并发控制：需结合反爬强度、网络带宽与本地资源，从5~20起步测试，并用asyncio+aiohttp替代多线程，配合连接池、域名分组、指数退避及DNS/SSL复用等策略持续调优。

Python爬虫性能优化的关键在于合理控制并发，既不能让请求太慢拖垮效率，也不能盲目加并发导致目标服务器拒绝服务或自身被封。

并发数量要匹配实际场景

并发数不是越高越好。需要结合目标网站的反爬强度、自身网络带宽、本地CPU和内存资源综合判断。一般从5~20起步测试，观察响应时间、错误率和稳定性。比如抓取普通企业站，10个并发通常足够；而面对有CDN和频率限制的新闻平台，可能需压到3~5个并发，并配合随机延时。

• 用time.sleep(random.uniform(1, 3))避免固定间隔被识别
• 监控HTTP状态码，连续出现429或503说明并发已超限
• 记录每个请求耗时，若平均响应超过5秒，优先排查网络或目标限速，而非加并发

用异步IO替代多线程/多进程

对于I/O密集型的爬虫（绝大多数情况），asyncio + aiohttp比threading或multiprocessing更轻量、更高吞吐。单线程异步可轻松支撑上百并发连接，且无线程切换开销。

• 避免在协程中调用阻塞函数（如time.sleep、requests.get），改用await asyncio.sleep()
• 连接池复用很重要：aiohttp.TCPConnector(limit=100)可控制总连接数，防止端口耗尽
• 使用asyncio.Semaphore精细控制某类接口的并发上限（如登录接口只允许2个并发）

请求调度与失败重试要智能

简单轮询或全量重试会浪费资源。应基于响应结果动态调整：成功则小幅提升并发试探，失败则退避并降级策略。

• 对5xx错误采用指数退避：retry_delay = min(60, base * (2 ** retry_count))
• 将URL按域名分组，每组独立维护并发计数器和错误历史
• 用Redis或内存字典缓存近期失败的URL，避免短时间重复请求

别忽略DNS和SSL握手开销

高频请求下，DNS解析和TLS握手可能成为瓶颈，尤其在大量不同域名时。提前预热和复用能显著提速。

• 用aiohttp.resolver.AsyncResolver启用DNS缓存
• 设置connector.ssl=True并复用session，避免每次新建SSL上下文
• 若目标域名固定，可考虑硬编码IP+Host头绕过DNS（注意IP变动风险）

不复杂但容易忽略。并发控制不是设个数字就完事，而是要持续观测、反馈、微调的过程。