Python无法限制单个线程内存，只能通过进程级手段控制：①multiprocessing+resource设子进程RLIMIT_AS；②psutil轮询RSS主动抛异常；③容器cgroup硬限制。三者依次为推荐优先级。
Python 中无法直接限制单个线程的内存用量
线程共享进程地址空间，threading 模块本身不提供内存隔离机制。所谓“限制线程内存”，实际只能退回到限制**整个进程**的内存上限——这是操作系统层面的控制，不是 Python 语言能凭空实现的。
常见误解是用 resource.setrlimit(resource.RLIMIT_AS, ...) 在主线程调用后以为子线程会继承限制，但该限制作用于整个进程（包括所有线程），且一旦设置，后续任何线程触发内存超限都会导致整个进程被 SIGKILL 终止（无异常可捕获）。
- Linux/macOS 下生效，Windows 不支持
resource模块的内存限制 - 限制的是虚拟内存（
RLIMIT_AS），不是物理内存（RSS），可能和直觉不符 - 不能动态调整；设得太低会导致
malloc失败
，Python 可能抛
MemoryError或直接 crash
用 multiprocessing + resource 限制子进程内存
真正可行的方案是把高风险任务放进独立子进程，并在子进程启动时立即设置内存限制。这样失败只影响该进程，主程序可捕获异常并继续运行。
关键点在于：限制必须在子进程的 run() 方法开头、任何大对象分配前就调用 resource.setrlimit，否则可能已超限。
import multiprocessing as mp import resource import sysdef memory_limited_task():
必须放在最前面！
try: resource.setrlimit(resource.RLIMIT_AS, (100 * 1024 * 1024, -1)) # 100MB except (ValueError, OSError): pass # 无权限或不支持，跳过 # 这里放实际逻辑，比如加载大文件、训练小模型等 data = [0] * 25_000_000 # 触发内存超限（约200MB） return len(data)if name == "main": p = mp.Process(target=memory_limited_task) p.start() p.join(timeout=10) if p.is_alive(): p.terminate() p.join() print("Done")
- Windows 用户需改用
psutil.Process().memory_info().rss轮询 + 主动terminate()，但有延迟和竞态风险 -
RLIMIT_AS是虚拟内存上限，某些场景下（如 mmap、大量未清空的 list）可能比 RSS 高出数倍 - 子进程启动开销明显，不适合高频、轻量任务
更稳妥的替代思路：主动监控 RSS + 超限时 raise
若需细粒度控制或跨平台兼容，放弃硬限制，改用软性监控。在关键循环或数据加载点检查当前进程 RSS，超阈值则主动抛异常，留给 Python 层清理机会。
import psutil import osdef check_memory_limit(max_mb=100): process = psutil.Process(os.getpid()) rss_mb = process.memory_info().rss / 1024 / 1024 if rss_mb > max_mb: raise MemoryError(f"RSS exceeded {max_mb} MB: {rss_mb:.1f} MB")
在易爆内存的地方插入
data = [] for i in range(1000000): data.append(i) if i % 10000 == 0: check_memory_limit(50) # 每万次检查一次
- 依赖
psutil，需pip install psutil - RSS 值有轻微延迟（通常几十毫秒），不能替代硬限制，但足够用于预防性中断
- 适合长任务中分段检查，比如解析大 JSON、迭代大数据集
容器或 cgroup 是生产环境的真实解
在 Docker、Kubernetes 或 Linux systemd service 中，用 --memory=100m 或 MemoryMax=100M 设置 cgroup 限制，才是稳定、精确、可审计的方式。Python 进程无需任何修改，OOM Killer 会在超限时杀死该容器/进程，且不会波及宿主或其他服务。
- 避免在代码里做资源管理，交给基础设施层
- 本地开发可用
docker run --memory=100m python:3.11 script.py快速验证 - 注意：cgroup v1 和 v2 的行为差异（如 v2 默认启用 memory.low，v1 无此机制）
硬编码内存限制容易掩盖真实瓶颈，也难适配不同环境。真正需要限制的，往往不是“某个线程”，而是“这个服务实例”——那就该由部署层定义边界。
