pickle 不该用于不可信数据,因其反序列化会执行任意代码;应改用 json 或 msgpack 等安全方案,并显式处理 datetime、bytes、Decimal 等类型。
pickle 不该用于不可信数据pickle 反序列化会执行任意代码,只要载入的字节流里藏了恶意构造的 __reduce__ 调用。线上服务若用 pickle.load() 解析用户上传的二进制数据,等于直接给攻击者开 shell 权限。
常见错误现象:AttributeError: Can't get attribute 'XXX' on —— 这往往是因为反序列化时模块路径变了,但更危险的是没报错、静默执行了恶意逻辑。
pickle.load() 或 pickle.loads() 处理来源不明的数据json + 自定义编码器,或 msgpack(需禁用 ext types)Python 默认不支持把实例方法、闭包、线程锁等序列化,pickle 能存,但依赖模块导入路径和类定义一致性;json 直接报 TypeError: Object of type XXX is not JSON serializable。
实操建议:别试图序列化“行为”,只序列化“数据”。用 __getstate__ 显式控制哪些字段参与序列化:
class CacheEntry:
def __init__(self, key, value, ttl=300):
self.key = key
self.value = value
self.ttl = ttl
self._created_at = time.time() # 不保存
self._lock = threading.Lock() # 不保存
def __getstate__(self):
state = self.__dict__.copy()
state.pop('_lock', None)
state.pop('_created_at', None)
return state
__getstate__ 中返回可变对象引用(如 dict 的浅拷贝仍共享嵌套 list)__setstate__ 中惰性重建,而非存连接对象本身assert hasattr(obj, '_lock') 验证反序列化后是否缺失预期属性json 序列化 datetime / bytes / Decimal 的兼容写法json.dumps() 默认不认 datetime、bytes、Decimal,硬转会抛 TypeError。不能靠 default=str 一招鲜——str(datetime(2025,1,1)) 是 '2025-01-01 00:00:00',但反序列化时得靠业务逻辑再 parse,易出错。
推荐用显式转换 + 统一协议:
datetime → ISO 格式字符串:dt.isoformat(),反序列化用 datetime.fromisoformat()(注意时区)bytes → base64 编码:base64.b64encode(b'data').decode('ascii'),反序列化用 base64.b64decode(s)
Decimal → float 或 str:金融场景必须用 str(d),避免浮点精度丢失封装成可复用的 encoder:
class SafeJSONEncoder(json.JSONEncoder):
def default(self, obj):
if isinstance(obj, datetime):
return obj.isoformat()
if isinstance(obj, bytes):
return base64.b64encode(obj).decode('ascii')
if i
sinstance(obj, Decimal):
return str(obj)
return super().default(obj)
msgpack 和 protobuf 怎么选msgpack 是 json 的二进制替代,无需预定义 schema,但不跨语言安全;protobuf 需先写 .proto 文件,生成代码,但体积小、解析快、天然支持多语言。
选型关键点:
msgpack.packb(obj, strict_types=True),开 strict_types 避免自动转 int/float
protobuf,用 optional 字段和 oneof 控制演进msgpack 存 numpy.ndarray:默认会转成 list,巨慢;改用 msgpack_numpy 插件或直接 np.save 到 BytesIO容易被忽略的是时间戳处理:msgpack 默认把 datetime 打包成带时区的 int(秒数),但 Python 客户端反解可能丢时区;protobuf 推荐用 google.protobuf.Timestamp,语义明确。