FastAPI+Uvicorn部署机器学习服务需关注模型加载、输入校验、参数调优与错误分层处理:模型应启动时全局加载;用Pydantic强校验输入;生产禁用--reload,合理设置workers等参数;异常需捕获并转为语义化HTTP错误。
用 FastAPI 搭建机器学习服务,再通过 Uvicor
n 高效运行,是当前 Python 模型部署的主流轻量方案。关键不在框架多炫酷,而在模型能稳定加载、接口响应快、请求能正确解析、结果可被下游系统可靠消费。
每次 HTTP 请求都重新加载模型(比如 joblib.load 或 torch.load),会严重拖慢响应、吃光内存。正确做法是在应用启动时完成加载,作为全局变量或依赖注入对象复用。
main.py 顶层,或封装进 models.py 中的类初始化方法lifespan 事件(FastAPI 0.95+)做异步加载与清理,适合需连接数据库或预热的场景logger.info(f"Model loaded in {time.time()-start:.2f}s")
用户发来的 JSON 很可能字段缺失、类型错乱、数值越界。FastAPI 的 Pydantic 模型不是摆设,它该承担第一道防线。
InputSchema 明确字段名、类型、默认值、约束(如 Field(ge=0, le=1))@app.post("/predict", response_model=OutputSchema) 同时约束出入参结构File + UploadFile,别直接读 body 字节流--reload
开发用 uvicorn main:app --reload 没问题,但上线必须换配置:并发能力、超时控制、日志粒度全得重设。
--reload,改用 --workers 4(建议 CPU 核数×2)提升吞吐--timeout-keep-alive 5 防长连接堆积,--limit-concurrency 100 控制瞬时请求数--log-level warning 减少日志 IO,配合 --access-log False 关闭访问日志(可用 Nginx 补)模型推理报 ValueError、GPU 显存不足、预处理出错……这些不能返回 500 给调用方,而应转成语义明确的业务错误。
try/except 包裹核心预测逻辑,捕获具体异常(如 sklearn.exceptions.NotFittedError)HTTPException(status_code=422, detail="特征维度不匹配")
模型部署不是写完 predict 就结束,而是让每一次请求都可预期、可监控、可回滚。Uvicorn 提供了高性能基石,FastAPI 提供了表达力,真正决定成败的是你怎么组织加载、校验、容错和配置。