答案是推荐使用concurrent.futures.ThreadPoolExecutor。Python标准库中无官方threadpool模块,常用的是concurrent.futures.ThreadPoolExecutor,支持submit提交任务和map批量处理,适用于I/O密集型任务,如网络请求,并发下载等,而第三方threadpool库已过时不推荐使用。
Python 中并没有一个官方的 threadpool 模块作为标准库的一部分。你可能指的是第三方库 threadpool,或者更常见的是 Python 标准库中的 concurrent.futures.ThreadPoolExecutor。下面分别介绍这两种用法,重点推荐使用标准库方式。
这是 Python 内置的
线程池模块,功能强大且易于使用。
基本用法示例:
import concurrent.futures import timedef task(name): print(f"任务 {name} 开始") time.sleep(2) return f"任务 {name} 完成"
创建线程池,最大3个线程
with concurrent.futures.ThreadPoolExecutor(max_workers=3) as executor:
提交多个任务
futures = [executor.submit(task, i) for i in range(5)] # 获取结果 for future in concurrent.futures.as_completed(futures): print(future.result())说明:
使用 map 的简洁写法:
with concurrent.futures.ThreadPoolExecutor() as executor:
results = executor.map(task, range(5))
for result in results:
print(result)
这是一个较老的第三方库,不推荐在新项目中使用。如果你确实需要:
安装:
pip install threadpool
简单示例:
import threadpool import timedef task(name): print(f"执行任务 {name}") time.sleep(1)
pool = threadpool.ThreadPool(3) # 3个线程 requests = threadpool.makeRequests(task, [1, 2, 3, 4, 5]) for req in requests: pool.putRequest(req) pool.wait()
注意:该库已多年未更新,兼容性和维护性较差。
线程池适合用于 I/O 密集型任务,比如网络请求、文件读写等。
实际例子:并发下载网页
import concurrent.futures import requestsdef fetch_url(url): response = requests.get(url) return len(response.text)
urls = [ "https://www./link/5f69e19efaba426d62faeab93c308f5c", "https://www./link/ef246753a70fce661e16668898810624", "https://www./link/5f69e19efaba426d62faeab93c308f5c" ]
with concurrent.futures.ThreadPoolExecutor(max_workers=3) as executor: results = executor.map(fetch_url, urls) for length in results: print(f"页面大小: {length}")
基本上就这些。对于大多数情况,直接使用 concurrent.futures.ThreadPoolExecutor 就足够了,无需额外依赖。它简洁、安全,且是 Python 官方推荐的方式。