17370845950

Python 文件写入的原子性保障

Python 文件写入的原子性,指的是在写入过程中确保文件要么完整写入,要么保持原有状态,避免因程序崩溃、系统断电等原因导致文件处于中间或损坏状态。直接对原文件进行写操作不具备原子性,但可以通过一些方法来保障。

使用临时文件 + 重命名实现原子写入

最常见且可靠的方式是:先将数据写入一个临时文件,写完后通过 os.rename() 将其替换原文件。在大多数现代文件系统(如 ext4、NTFS)中,rename 操作是原子的。

示例代码:

import os
import tempfile

def atomic_write(filename, content):

创建临时文件,与目标文件在同一目录下

dirpath = os.path.dirname(filename)
with tempfile.NamedTemporaryFile('w', dir=dirpath, delete=False) as f:
    temp_name = f.name
    f.write(content)
    f.flush()
    os.fsync(f.fileno())  # 确保内容写入磁盘

# 原子重命名
os.replace(temp_name, filename)  # Python 3.3+ 推荐使用 replace 替代 rename

关键点说明:

  • 临时文件必须与目标文件在同一文件系统下,否则 os.replace 可能不是原子的。
  • delete=False 避免文件被自动删除,便于后续重命名。
  • os.fsync() 确保操作系统缓冲区真正写入磁盘,增强持久性。
  • os.replace() 在 Unix 和 Windows 上都能正确处理覆盖,比 os.rename() 更安全。

避免使用 truncate 或直接写原文件

以下做法不具备原子性:

with open('data.txt', 'w') as f:
    f.write(new_content)

这种写法会直接修改原文件。如果写入中途失败,原文件可能被截断或部分更新,造成数据丢失。

跨平台与文件系统注意事项

虽然 os.replace() 是原子的,但需注意:

  • 某些网络文件系统(如 NFS)可能不保证 rename 的原子性。
  • Windows 对正在使用的文件限制较多,建议关闭文件句柄后再重命名。
  • 若目标文件不存在,os.replace() 仍能正常工作,等价于 rename。

基本上就这些。只要写到临时文件再原子替换,就能有效避免写入过程中的数据损坏问题。