17370845950

优先用os.ReadFile/os.WriteFile处理小文件，大文件或需流式处理时用os.Open+bufio.Scanner或io.Copy，追加写必须用os.OpenFile并指定O_APPEND标志。

用 ioutil.ReadFile 读文件最简单，但注意它会把整个文件加载进内存

如果你确定文件不大（比如配置文件、JSON 小数据），ioutil.ReadFile 是最快捷的选

择。它返回 []byte 和 error，不用手动开闭文件。

• 适合一次性读取全部内容，比如 json.Unmarshal 前处理
• 不适用于大文件（GB 级），否则可能触发 OOM
• Go 1.16+ 已弃用 ioutil，应改用 os.ReadFile（行为完全一致，只是包路径不同）

data, err := os.ReadFile("config.json")
if err != nil {
    log.Fatal(err)
}
var cfg Config
json.Unmarshal(data, &cfg)

写小文件优先用 os.WriteFile，它自动处理权限和覆盖逻辑

os.WriteFile 是 ioutil.WriteFile 的替代，内部调用 os.OpenFile 并设好 O_WRONLY | O_CREATE | O_TRUNC 标志，省去手动控制打开模式的麻烦。

• 第三个参数是文件权限，Linux/macOS 上生效（如 0644），Windows 忽略
• 默认覆盖原文件；如需追加，不能用它，得换 os.OpenFile
• 写入失败时不会残留半截文件（原子性由底层保证）

err := os.WriteFile("output.txt", []byte("hello world"), 0644)
if err != nil {
    log.Fatal(err)
}

读大文件或需要流式处理时，必须用 os.Open + bufio.Scanner 或 io.Copy

当文件可能超过几十 MB，或者你只想逐行/分块处理（比如日志分析、CSV 解析），就不能再依赖一次性读取函数。

• os.Open 返回 *os.File，记得用 defer f.Close()
• 逐行读推荐 bufio.Scanner（默认单行上限 64KB，超限会报 scanner.ErrTooLong）
• 整文件复制（如备份）直接用 io.Copy(dst, src)，底层用 32KB 缓冲，高效且不爆内存

f, err := os.Open("huge.log")
if err != nil {
    log.Fatal(err)
}
defer f.Close()

scanner := bufio.NewScanner(f)
for scanner.Scan() {
    line := scanner.Text() // 注意：不包含 \n
    process(line)
}
if err := scanner.Err(); err != nil {
    log.Fatal(err)
}

追加写入必须显式用 os.OpenFile，别指望 os.WriteFile

os.WriteFile 总是覆盖，想追加只能自己构造文件打开选项。常见错误是漏掉 os.O_APPEND 或误传 os.O_CREATE 权限位。

• 必须同时指定 os.O_WRONLY | os.O_APPEND | os.O_CREATE
• 权限位只在文件新建时生效；已存在文件不受影响
• 写入前不检查文件是否存在——O_CREATE 本身就有“存在则跳过”语义

f, err := os.OpenFile("log.txt", os.O_WRONLY|os.O_APPEND|os.O_CREATE, 0644)
if err != nil {
    log.Fatal(err)
}
defer f.Close()

_, err = f.Write([]byte("new entry\n"))
if err != nil {
    log.Fatal(err)
}

实际项目里最容易被忽略的是：**大文件读写不加 context 控制或超时，会导致 goroutine 卡死；而小文件用错 API（比如该用 os.WriteFile 却手写 open/write/close）又平白增加出错概率**。选哪个函数，核心就看两个维度：文件大小预期、是否需要流式控制。