关键不是“要不要缓存”,而是“缓存什么、什么时候失效、谁来清理”;用 sync.Map + 文件修改时间做轻量级缓存适合中小规模 Web 服务。
os.File 不能直接当缓存载体文件内容读取后若每次请求都 os.Open + io.ReadAll,性能会随并发陡降。但把整个文件内容塞进内存(比如用 map[string][]byte)又容易触发 OOM,尤其面对 MB 级配置文件或模板。关键不是“要不要缓存”,而是“缓存什么、什么时候失效、谁来清理”。
sync.Map + 文件修改时间做轻量级缓存适合中小规模 Web 服务(QPS os.FileInfo.ModTime(),每次读前比对磁盘最新时间戳。
json.RawMessage 或自定义 struct),不是原始字节
filepath.Abs 处理相对路径),避免软链接导致的重复缓存os.Stat 对比时间戳sync.Map 的 LoadOrStore 返回值是 (interface{}, bool),第二个 bool 表示是否新存入,别误当“是否命中”var fileCache sync.Map // map[string]cacheEntrytype cacheEntry struct { data interface{} modTime time.Time }
func LoadFileAsJSON(path string, v interface{}) error { absPath, _ := filepath.Abs(path) fi, err := os.Stat(absPath) if err != nil { return err }
if raw, ok := fileCache.Load(absPath); ok { if entry, ok := raw.(cacheEntry); ok && entry.modTime.Equal(fi.ModTime()) { b, _ := json.Marshal(entry.data) return json.Unmarshal(b, v) } } b, err := os.ReadFile(absPath) if err != nil { return err } if err := json.Unmarshal(b, v); err != nil { return err } fileCache.Store(absPath, cacheEntry{ data: v, modTime: fi.ModTime(), }) return nil}
大文件或高并发场景必须加锁粒度控制
当多个 goroutine 同时首次加载同一文件,
sync.Map.LoadOrStore虽线程安全,但无法阻止多次重复读盘和反序列化。此时需用singleflight.Group消除惊群效应。
singleflight 的 key 必须包含文件路径,但不要带查询参数(如 config.jso
n?v=123)——应提前 NormalizeModTime,因为 singleflight 不保证调用时机,可能两次请求间隔中文件已被修改ModTime 变更;所以不用设 time.Now().Add(5 * time.Minute) 这类逻辑var loadGroup singleflight.Groupfunc LoadFileWithDedup(path string, v interface{}) error { absPath, _ := filepath.Abs(path) fi, err := os.Stat(absPath) if err != nil { return err }
// 先查缓存,命中且时间一致则直接返回 if raw, ok := fileCache.Load(absPath); ok { if entry, ok := raw.(cacheEntry); ok && entry.modTime.Equal(fi.ModTime()) { *(*interface{})(unsafe.Pointer(&v)) = entry.data return nil } } // 未命中,走 singleflight 防止重复加载 res, err, _ := loadGroup.Do(absPath, func() (interface{}, error) { b, err := os.ReadFile(absPath) if err != nil { return nil, err } var data interface{} if err := json.Unmarshal(b, &data); err != nil { return nil, err } fileCache.Store(absPath, cacheEntry{ data: data, modTime: fi.ModTime(), }) return data, nil }) if err == nil { *(*interface{})(unsafe.Pointer(&v)) = res } return err}
别忽略
syscall.EBADF和文件删除竞态线上环境常有部署脚本热更配置文件:先删旧文件,再写新文件。此时若缓存中还存着已删除文件的
*os.File(比如你错误地缓存了打开的句柄),后续Read就会报EBADF。更隐蔽的是:os.Stat对已删除但未关闭的文件仍返回旧信息,导致缓存长期不更新。
*os.File,只缓存内容或解析结果os.Open 流式处理大文件,确保 defer Close,且不在闭包中逃逸os.SameFile 校验:缓存中的 dev/inode 是否与当前磁盘文件一致真正难处理的从来不是“怎么缓存”,而是“怎么知道它已经不该再用了”。时间戳只是近似手段,inode 才是唯一标识——但跨文件系统时 inode 会变,所以最终还得结合业务语义做兜底,比如给配置加版本号字段。