17370845950

Python 对象序列化与反序列化最佳实践
pickle 不该用于不可信数据,因其反序列化会执行任意代码;应改用 json 或 msgpack 等安全方案,并显式处理 datetime、bytes、Decimal 等类型。

为什么 pickle 不该用于不可信数据

pickle 反序列化会执行任意代码,只要载入的字节流里藏了恶意构造的 __reduce__ 调用。线上服务若用 pickle.load() 解析用户上传的二进制数据,等于直接给攻击者开 shell 权限。

常见错误现象:AttributeError: Can't get attribute 'XXX' on —— 这往往是因为反序列化时模块路径变了,但更危险的是没报错、静默执行了恶意逻辑。

  • 永远不用 pickle.load()pickle.loads() 处理来源不明的数据
  • 内部服务间短生命周期通信(如 Celery 任务参数)可谨慎使用,但需确保 worker 和 producer 共享完全一致的代码版本
  • 替代方案优先选 json + 自定义编码器,或 msgpack(需禁用 ext types)

如何安全地序列化带方法/状态的自定义类

Python 默认不支持把实例方法、闭包、线程锁等序列化,pickle 能存,但依赖模块导入路径和类定义一致性;json 直接报 TypeError: Object of type XXX is not JSON serializable

实操建议:别试图序列化“行为”,只序列化“数据”。用 __getstate__ 显式控制哪些字段参与序列化:

class CacheEntry:
    def __init__(self, key, value, ttl=300):
        self.key = key
        self.value = value
        self.ttl = ttl
        self._created_at = time.time()  # 不保存
        self._lock = threading.Lock()    # 不保存
def __getstate__(self):
    state = self.__dict__.copy()
    state.pop('_lock', None)
    state.pop('_created_at', None)
    return state

  • 避免在 __getstate__ 中返回可变对象引用(如 dict 的浅拷贝仍共享嵌套 list)
  • 若必须恢复复杂状态(如重连数据库连接),在 __setstate__ 中惰性重建,而非存连接对象本身
  • 测试时用 assert hasattr(obj, '_lock') 验证反序列化后是否缺失预期属性

json 序列化 datetime / bytes / Decimal 的兼容写法

json.dumps() 默认不认 datetimebytesDecimal,硬转会抛 TypeError。不能靠 default=str 一招鲜——str(datetime(2025,1,1))'2025-01-01 00:00:00',但反序列化时得靠业务逻辑再 parse,易出错。

推荐用显式转换 + 统一协议:

  • datetime → ISO 格式字符串:dt.isoformat(),反序列化用 datetime.fromisoformat()(注意时区)
  • bytes → base64 编码:base64.b64encode(b'data').decode('ascii'),反序列化用 base64.b64decode(s)
  • Decimalfloatstr:金融场景必须用 str(d),避免浮点精度丢失

封装成可复用的 encoder:

class SafeJSONEncoder(json.JSONEncoder):
    def default(self, obj):
        if isinstance(obj, datetime):
            return obj.isoformat()
        if isinstance(obj, bytes):
            return base64.b64encode(obj).decode('ascii')
        if i

sinstance(obj, Decimal): return str(obj) return super().default(obj)

性能敏感场景下 msgpackprotobuf 怎么选

msgpackjson 的二进制替代,无需预定义 schema,但不跨语言安全;protobuf 需先写 .proto 文件,生成代码,但体积小、解析快、天然支持多语言。

选型关键点:

  • 纯 Python 内部通信(如 Redis 缓存)、且结构简单 → 用 msgpack.packb(obj, strict_types=True),开 strict_types 避免自动转 int/float
  • 要和 Go/Java 服务交互,或字段频繁增减 → 必须上 protobuf,用 optional 字段和 oneof 控制演进
  • 别用 msgpacknumpy.ndarray:默认会转成 list,巨慢;改用 msgpack_numpy 插件或直接 np.save 到 BytesIO

容易被忽略的是时间戳处理:msgpack 默认把 datetime 打包成带时区的 int(秒数),但 Python 客户端反解可能丢时区;protobuf 推荐用 google.protobuf.Timestamp,语义明确。