Python多进程系统学习路线第537讲_核心原理与实战案例详解【指导】
Python multiprocessing 绕过 GIL 本质是启动独立进程，需用 if name == '__main__': 保护；Pool 中 apply 同步、apply_async 异步、map 自动分片；进程间通信须用 Queue/Pipe/Value+Lock；慢在子进程初始化而非 start()。
Python 的 multiprocessing 模块不是“多线程加强版”，它绕过 GIL 的本质是启动独立进程，每个进程拥有自己的 Python 解释器和内存空间——这意味着变量不共享、对象不能直接传递、初始化开销明显。
为什么 Process 启动后子进程不执行预期代码？
常见于 Windows 或 macOS 上的脚本未加保护，导致子进程重复导入主模块并递归启动新进程（表现为 CPU 占满、程序卡死或报 AssertionError: can only join a started process）。
- 必须将进程创建和启动逻辑放在
if __name__ == '__main__':保护块内 - 在 IDE（如 PyCharm）中运行时，需确认是否启用了 “Run with Python console” —— 这会破坏
__name__判断，建议改用终端执行 - 使用
spawn启动方式（Windows/macOS 默认）时，模块必须可被子进程 import，避免在if __name__ == ...外写有副作用的顶层代码
Pool 的 apply、apply_async 和 map 怎么选？
三者底层都走同一套 worker 进程池调度，但调用语义和阻塞行为差异极大，误用会导致并发失效或意外同步等待。
-
apply(func, args)：同步阻塞，等结果返回才继续，等价于单次func(*args)，无并发意义，仅用于调试 -
apply_async(func, args)：异步提交，立即返回AsyncResult对象，需显式调用.get()获取结果；若批量提交后统一.get()，才能真正并行 -
map(func, iterable)：对可迭代对象自动分片并行执行，结果顺序与输入一致；但iterable会被一次性转为 list 加载进内存，大数据量时慎用
from multiprocessing import Pooldef square(x): return x * x
if name == 'main': with Pool(4) as p:
✅ 正确：异步提交 + 统一取结果
results = [p.apply_async(square, (i,)) for i in range(10)] print([r.get() for r in results]) # [0, 1, 4, ..., 81] # ⚠️ 错误：每次 apply_async 后立刻 get → 退化为串行 # p.apply_async(square, (i,)).get() # 不要这样写进程间如何安全传递数据？别碰全局变量
子进程无法修改父进程的变量，
所谓“共享”只有三种可控路径：队列、管道、共享内存（
Value/Array），且每种都有适用边界。
所谓“共享”只有三种可控路径：队列、管道、共享内存（-
Queue是最常用、最安全的选择，线程/进程安全，支持任意可序列化对象，但有额外 pickle 开销 -
Pipe()性能更高（无序列化强制要求），但只支持两端通信，且需手动管理收发方向（a.send()/b.recv()） -
Value和Array仅支持基础类型（i,d,c等 ctypes 类型），不能传 list/dict/自定义类；修改需加锁（Lock），否则值可能错乱
所有跨进程对象（包括 Queue、Lock、Value）必须在主进程中创建，再作为参数传入子进程函数 —— 在子进程中新建等于无效。
为什么 start() 很快，但实际任务延迟很高？
进程启动本身不慢，慢的是初始化：加载 Python 解释器、导入全部依赖模块、重建 sys.path、执行 __init__.py 中的代码。尤其当项目依赖 heavy 包（如 numpy、pandas、torch）时，每个子进程都要重复一遍。
- 避免在子进程函数中动态 import 大库；应在函数顶部一次性导入，让 spawn 机制复用已加载状态
- 用
initializer和initargs预加载资源（如数据库连接池、模型权重），而非每次任务都重做 - 考虑改用
concurrent.futures.ProcessPoolExecutor，其内部对初始化做了更稳定的封装
真正的难点不在语法，而在于理解“每个进程是全新 Python 实例”这个前提——所有你以为的“自然共享”，其实都需要显式声明、显式传输、显式同步。
